[ Application ] Make Util for Application

Currently some of application use bitmap_helper and they have it
independently. rather than do this way, It might be better to make
static lib and link.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Doc ] Add Documentation of MNIST Application

Add README.md and imagews for mnist.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Application ] Fix Logistic Regression Example to work

Current implementation of Logistic example is not working.
This PR inclues fixes.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CS] Remove leading underscore

**Changes proposed in this PR:**
- Remove underscore to unify code style in custom shortcut

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Fix bn layer backwarding

**Changes proposed in this PR:**
- Change formula to calculate bn layer backward propagation
- Enable conv2d test case
- Add test case when batch is 1
- Renew test case to use non constant grad_ys

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[transferlearning] Add callback for testing model

Added callback for testing the model
The callback prints the top-1 predicted output for a given image file
Increased number of epochs back to 1000 to acheive better accuracy

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[application] Transfer learning using just C-API

Update transfer learning application to use just C-API
This divides the application into 3 parts -
1. Running the fixed part of the model - done using nnstreamer-single C-API
2. Training the trianable part of the model - done with nntrainer C-API
3. Running the testing of the trainable part of the model - done with nnstreamer-pipeline C-API with nntrainer tensor filter extension

The outputs of section 1 is kept loaded in the memory than saving to disk and loading back
The application supports section 1 using tflite directly for non-tizen platforms
Section 3 is not supported on non-tizen applications

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Application ] Doc for Logistic Regression

Add doc for logistic regression application.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Docs] Update example link

This patch updates example link broken from moving folders.

resolves #567

**Self evaluation:**
1. Build test: [ ]Passed [ ]Failed [x]Skipped
2. Run test: [ ]Passed [ ]Failed [x]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Tensor] Fix bug in the broadcast support

Fix bug that strides and buffer axis are miscalculated

**Changes proposed in this PR:**
- Clarified consecutive-one strategy and same-stride strategy
- Change last stride to 0 only if it is using consecutive-one strategy
- Add regression test

Resolves: #559

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Cc: Jijoong Moon <jijoong.moon@samsung.com>
Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ Doc ] Modify image and Doc

Modify image and howto generate tflite for transfer learning document.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Doc ] Add doc for 'How to generate tflite for feature extractor'

. Add md file inclues 'how to genearte tflite for feature extractor'
. import_pb_to_tensorboard.py for tensorboard from frozen model.
. add some pics

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ DataBuffer ] Fix Undeterministic Behavior when validation is false

Add check and retrun INVALID_PARAM when the validation bit is false.
If it returns INVALID_PARAM, then train_run return INVALID_PARAM as
well.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[application] Added testing for the trained model

Added testing for the trained model using nnstreamer CAPI
This testing of the trained model works on tizen only

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[applications] Update applications documentation

Update the documentation for the applications

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Application] Update application to use C-API

Update draw-classification application to use the C-API
Also add more polishing to the application
Update building of android application to build with C-API
Update meson to use C-API than nntrainer directly

Inference of application is still remaining

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android] Add building of C-API

Add building of C-API for android
Also add corresponding error fix for inclusion

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Add bn layer properties

This patch add properties for bn layer

**Changes proposed in this PR:**
- momentum
- mu_initializer
- var_initializer
- gamma_initializer
- beta_initializer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Add test for elem-wise ops broadcasting

This patch adds test for elem-wise ops doing fine with broadcasting
support

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Add broadcasting support for elem-wise ops

Batchnormalization Layer needs extensive broadcasting support other than
batchwise add.
Add broadcasting to `operation_i` family while keeping vectorization from cblas
as much as possible.

Test will be added with following commit

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[meson] Move dependencies to correct location

Move dependencies of glib and gstreamer to nnstreamer plugin from applications

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Update bn layer forwarding

**Changes proposed in this PR:**
- Update bn layer to more naive implementation
- Update broken bn layer tc

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Add gitignore for python generated files

**Changes proposed in this PR:**
- Add python generated extensions to gitignore

**Self evaluation:**
1. Build test: [ ]Passed [ ]Failed [x]Skipped
2. Run test: [ ]Passed [ ]Failed [x]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[unittest] install unittest dependent files

Install missing unittest dependent files when installing the unittest

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Test ] enable unittest

This pr includes enabling unittest for gbs

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Bug ] Fix Tensor Copy

we only copy if tensor len == 0

related issues : #539

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ APP ] Add VGG 16 Test Configuration for Cifar100

This PR includes configuration file (vgg.ini) for VGG 16 with bn layer
which is:

 conv3_64 - conv3_64, max_pooling, conv3_128 - conv3_128, max_pooling,
 conv3_256 - conv3_256 - conv3_256, max_pooling, conv3_512 - conv3_512
 - conv3_512, max_pooling, conv3_512 - conv3_512 - conv3_512,
 bn_layer,  max_pooling, fc_4096, bn_layer, fc_4096, bn_layer, fc_100,
 softmax

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[nnstreamer-plugin] Support to run unittest of nnstreamer plugin

Added support to run unittest of nnstreamer plugin on tizen build on the CI server

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Applications] Refactor applications

Refactor applications
- Classification -> TransferLearning/CIFAR_classification
- Training -> TransferLearning/Draw_classification
- mnist -> MNIST
- Delete TIZEN_CAPI as it overlaps with the unittests without even checking the final accuracy

Correspondingly update meson and some README.md

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Update default constructor of tensor to not throw

The default constructor does no heap memory allocation (size is 0)
However it can still throw which isn't right
This patch updates the tensor default constructor to not throw because of heap allocation
to create less issues with static checkers which requires to add try catch around tensor declarations

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[bn] bug fix for setting optimizer for bn layer

This patch provides bugfix for setting the optiimzer for bn layer
although the weight updates are called only for the trainable params,
the optimizer is initialized with all the weights which are not trainable
and have no gradients
This results in un-necessary memory allocation for them as well as
creates issues for #517

This patch adds a count for trainable_param_size and a getTrainableParams() for the layer
and instead of all params, only trainable params of the layer are passed to the optimizer

An alternate was for the optimizer to check gradient size and ignore the ones with 0 size
but thats over-engineering at this point.

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Release ] NNTrainer 0.1.1 Release

NNTrainer v0.1.1 is released

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[dist/tizen] Package tensor filter properly

NNtrainer tensor filter was packaged with nntrainer which isnt right
Now nntrainer tensor filter is packaged separately and depends on nnstreamer and nntrainer both

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[inference] Inference bug fix

Added inference bug fix to run the last activation layer when it has been merged in the loss layer
This is done by supporting forwarding(in) method for loss which was earlier not supported
We just have to be careful for this not be called in any other case other than inference

Later this will be changed to handled with train/eval mode (which I think @zhoonit will add for bn layer)

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[TensorDim] Fix index checks

**Changes proposed in this PR:**
- Fix index validation to be appropriate

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ LICENCE ] Fix license header

NNTrainer is not LGPL. It is Apache2.0 and fix accordingly.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: HyesuAhn <linim@naver.com>
Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Bug ] Free content of g_file_get_contents

Add free when return

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[dataset] Support setting user_data for generator dataset

Support setting user_data for the dataset using generators
For now, there is only 1 user_data for all 3 train/valid/test dataset
The format for setting user_data is
"ml_train_dataset_set_property(dataset, "user_data", (void *) data, NULL)"

It is to be passed two consecutive arguments, and with list being terminated by NULL

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ NNSTREAMER ] Add nnstreamer filter for nntrainer

In this PR,

 . NNStreamer filter subplugin is implemented.
 . Test Cases for subplugin

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Example ] Add Inference Mode & Example

This PR includes:
. Add Inferenece Mode
  Add 'is_train' to identify mode.
  : Default is training mode(true). If this is set false, then it is
    inference mode. If it is inference mode, then data buffer is not
    initialized.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Tensor] Add multiple axes support

This patch adds multiple axes support for sum and average.
which is esentially needed to build bn_layer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ DataBuffer ] Fix for conner cases.

When the buffer thread broadcasts "DATA_END" while main thread get the
data from buffer, the main thread return even if there are data in
data buffer.

This PR includes fix this situation.

releated issues #427

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ BLAS ] Move to use CUBLAS for gemm

Move CUBLAS gemm routine into blas_interface

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ DataBuffer ] Hot fix for data buffer

. Remove unnecessary lock

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Coverity ] Fix Race Condition issue about databuffer

. Add Lock to set data ready flag.
. change order to set the condition

. Fix undeterministic behavior of databuffer

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ SVACE ] Fix minor issues caused by svace

**Changes proposed in this PR:**
- Fix recursive header inclusion
- Add additional destory, overlapping validation

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Fix normalization for specific case

**Changes proposed in this PR:**
- Fix normalization when min == max
- Add regression test from tct

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Docs] Fix typo on classificaion

**Changes proposed in this PR:**
- Fix typo that hasn't been changed after ini spec change

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ SVACE ] Using rand_r instead of rand

. Classification/jni/mani.cpp

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Doc ] Add explains about Applications

Modify Document of Training Exmaple (Transfer Learning)
. Applications/Training/README.md

Signed-off-by: jijoongmoon <jijoong.moon@samsung.com>

[ CONV2D ] Add explanation about how to calculate conv2d.

Add explanation about covn2d.
. forwarding
. Calculate DelK in backwarding
. Calculate return derivative in backwarding

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ BLAS ] Add more blas func to support and update tensor.cpp

. add sscal, snrm2, sgemv, scopy
. modify tensor.cpp to use blas_interface

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

Fix app test fail

Fix app classification capi func test fails with negative number

- Add destroy routine
- s/model_path/save_path/

Resolves #501

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[unittest] Add verification of accuracy for training metrics

This patch add verification of accuracy for training metrics like loss and accuracy
in capi test cases

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ MNIST ] Add save weight initialization data

This PR includes codes to save weight initialized data for nntrainer
input. This can be read using NN.readModel() except optimizer read in
fully connected layer.

Signed-off-by: jijoongmoon <jijoong.moon@samsung.com>

[ UTIL ] Add BLAS Interface

In order to handle blas easily, blas interface is added.
.blas_interface.cpp
.blas_interface.h

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CAPI] Fix potential issue in capi

**Changes proposed in this PR:**
- Change logic to feature check first for `ml_train_construct_with_conf`
- Add exception boundary to all make_shared
- Add noexcpt to layer::getName since error is not handled in capi

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[dataset] check bufsize at init

This patch changes the initialization of buffer size.
The buffer size is now initialized with value 1 if user does not set it.
Then the proper checks on buffer size are performed at init
and buffer size is appropriately resized then.

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ TOKEN ] Update weight decay to weight regularizer

Change Weight_Decay to Weight_Regularizer
Change Weight_Decay_Lambda to Weight_Regularizer_Constant

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ UNITTEST ] Integer Unit test for conv2d

This PR inlucdes Integet Unit Test for conv2d to evaluted accuracy.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

Fix ahub reporting buffer overflow

**Changes proposed in this PR:**
- Add extra safeguard to sum

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[tensor] bug fix for the sum

add bug fix for the sum of tensors

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Add unittests for tensor dot

Add unittests for tensor dot

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[dot] Update tensor dot implementation

Update the implementation of tensor dot product
This update applies dot on the last dimesnion of input and second last dimension of passed tensor `m`
This allows use of dot in fc layer directly eliminating calling transpose explicitly but rather use transpose in blas

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[loadconfig] Load model and dataset in config at start

Load model and dataset in config at start so that any dependencies
which model, dataset and layer have among them can be easily solved

Resolves #389

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Conv2D ] add cblas_sgemm to calculate conv2d

This PR includes conv2d layer gradient calculation using cblas_gemm.
In order to do this, new functions are introduced.
. conv2d_gemm
. im2col

related issue : #477

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[unittest] Make unittest data close to int

Make unittest data close to int
This allows matching outputs with lower tolerance and higher precision

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Pooling] Bug fix for pooling global max

Bug fix for pooling global max

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Layer] Add support for element-wise add layer

Add support for element-wise add layer along with basic unittests
This will form the base layer for supporting skip connections

V2:
Element-wise add layer -> Addition Layer

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tizen/dist] Update tizen packaging

Updated tizen packing spec file

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Update tensor operations to use cblas

Update tensor operations to use cblas
Further, update various operations to use stl functions than implement locally
Bug fix on sum_by_batch which calculated sum of absolute values earlier

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[softmax] Update softmax implementation

Update softmax implementation to use tensor operations than running manual loops

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[neuralnet] Update model_file to save_path in neuralnet properties

Update model_file to save_path in neuralnet properties

Resolves #488

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Update tensor apply

Update tensor apply to use std::transform than a simple loop

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tensor] out-of-place to in-place call uniformly

Out-of-place operations call in-place operations with different clones and checks everywhere
Make a common abstraction to do this and use it for cleaner and readable code.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tcm] Add config.yaml

Add config.yaml for tcm

**Self evaluation:**
1. Build test: [ ]Passed [ ]Failed [X]Skipped
2. Run test: [ ]Passed [ ]Failed [X]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[tf match] Verified with 1x1 conv

Verified with 1x1 conv but 2x2 conv (2nd conv) creates the issues
This commit helps in reproduction

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[mnist] Update tensorflow training for mnist application

Update tensorflow training example for mnist application
This with same initialization as nntrainer (shown with zero initialization)
matches the final accuracy as well as loss with nntrainer

See also #133

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Example] Minor bugfix

Added minor bugfix to application ini file

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Fix typo in capi-nntrainer spec

**Changes proposed in this PR:**
- Fix typo capi-nntrainer that are causing unexpected exit

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Example] Update docs

**Changes proposed in this PR:**
- Update docs
- Add demo footage
- Delete batch from model input shape

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Example] Add missing model file

Add missing model file that are excluded from .gitignore by force

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[TCM] Fix no assertion test

This patch fixes no test that has no assertion

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ Docs ] Add how to run test

**Changes proposed in this PR:**
- How to run unittest
- How to run sample app test

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ Application ] change nntrainer_knn to knn_sample

Current implementation of KNN does not use nntrainer. However it is
still good transfer learning example using KNN.
Therefore, we change the execution file name from nntrainer_knn to
knn_sample.
main.cpp with NYI is added instead until we implement it with
nntrainer.

Issue #457

Signed-off-by: jijoongmoon <jijoong.moon@samsung.com>

[ Coverity ] Fix coverity issues.

This PR inclues coverity issues fixes.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[loss] Rename cost to loss

Rename cost to loss

See also #239

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ini] Update INI configuration

Update ini configuration with the below changes:
- filter -> filters (for convolution)
- pooling_size -> pool_size
- epoch -> epochs
- minibatch -> batch_size

See also #239

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[init] Update weight initializations

Add proper bias initialization than just bias_init_zero
Update weight_ini to weight_initializer
Add zero initializer to the list of supported initiailizers

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[INI] This patch refactors the INI naming for saving model file

This patch update the INI naming for saving the model file
from model to save_path

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[license] Fix SPDX license usage

Fix SPDX license usage

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[docs] Updated docs to github MD lint

Updated docs as per github MD lint
Also added minor fixes

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tensor] Set param size cannot update size

Add the restriction of updating the param size for layer weights once set
As of now, this adds the restriction of changing filter size for convolution once set
But this needs to be fixes in convolution. Conv2D should just have 1 weights and bias,
not split by filter size

Resolves #293

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ini] Update Network section to Model

Update section name from Network to Model
Also update internal naming in loadModel and correspondingly unittests

Resolves #318

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[config] Separate loading model with config from neuralnetwork class

Loading the model from given ini file is separated from main neuralnetwork class
This will allow loading from other type of config files and keep neuralnetwork class cleaner

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] restriected setDim is now reshape

Tensor setDim() is renamed to reshape() as tensor should only be allowed to reshape
Resizing it invalidates the invariant for the other holders of the same data of tensor (see also #412)

This patch renames setDim() to reshape() which throws if there is an attempt to change size
Further getDim() now returns a copy of the dimension to disallow changing dimension of a tensor directly

Also some aliases in Tensor (like getWidth()) have been removed. Rather, width() like functions are kept
to maintain coherency with TensorDim() interface.

Resolves #412

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Documents ] Add Documentation

. getting-started.md
. how-to-run-exampels.md
. how-to-use-testcases.md
. Applicatin/Classification/README.md

Signed-off-by: jijoongmoon <jijoong.moon@samsung.com>

[neuralnet] Train loop index variable reuse remove

Multiple nested loop with same variable names are being used. Fix that.
Also, reporting for train epoch should start from 1 and not from 0.

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ MNIST ] Comparison with Tensorflow

This PR includes:
 . mnist tensorflow example to compare
 . data generation for tensorflow
 . input for mnist ini for small size training set
 . fix no_op_prime for activation layer
 . add sqrtDouble
 . remove conv2d rotate_180

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[layers] Make input and hidden consistent for layers

Set input and hidden consistent for all layers.

Resolves #420

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>