[hotfix] Enable zoneout lstmcell unittest

 - Fix broken zoneout lstmcell unittest

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[layer] Bug fix for embedding layer

This patch adds bug fix for the embedding layer related to the index of
the data.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Recurrent] Support connection for recurrents

This patch support connection for recurrent input, outputs

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Recurrent] recurrent using zero connection

This patch implements multi inout recurrent using zero connection

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Recurrent] Support multiple sequence

This patch updates recurrent realizer to suupporting multiple sequence with layer name not boolean
with `as_sequence` property

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Test] Update multiout support specification

This patch updates multiout support specification.

Patch planned: 1. support return sequence with layer name
               2. support multiple input, output layers
               3. support multiple input, output connections

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Clean] Prepare remap realizer for further changes

This patch add comments and terms(idx -> time_idx) inside remap realizer
to prepare further changes

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[unittest] zoneout lstmcell unittest

 - unittest for zoneout lstmcell layer

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[zoneout lstmcell] Implement zoneout lstm cell

 - Zoneout lstmcell is based on the paper and the github repo
   which is mentioned in paper.
 - Todo: Zoneout at inference time is not implemented yet.

refer: https://arxiv.org/pdf/1606.01305.pdf
       https://github.com/teganmaharaj/zoneout

Self evaluation:

    Build test: [X]Passed [ ]Failed [ ]Skipped
    Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[lstmcell] Refactoring the lstmcell

 - Refactoring the lstmcell to lstm core layer.
   This lstm core layer will be used in zoneout lstmcell layer
 - lstm core layer is designed to have 3 inputs, 2 outputs
   like other framework.

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Fix] Add dstate to mol attention batch

This patch fixes that dstate does not have the batch size updated

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[graph] Extend lifespan of model outputs

The lifespan of model outputs is extended to the max forward exec order
so that the outputs remain valid till the full forward is completed and
they can be checked in the training or even inference.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] fix for mol attention layer

Bug fix for mol attention layer as getOutputDerivatives is not available
in calcGradient, so the usage is replaced with a temporary tensor.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Support multiple outputs for mol attention layer

Support multiple outputs for mol attention layer along with the
unitests.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Support filter masking in mol attention

Add support for filter based masking in mol attention.
Add corresponding unittest.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Fix] Setting batch after finalize/initialize

This patch delays setting batch after finalize/initialize.

Setting batch must be done after runcontext has made, the reason is that
we have semantics that finalize should be independent of batch size, but
if batch size is set before output_dims batch must be set according to
input_dims batch, which is not desirable.

**V2**
Fix hidden bugs related to this

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Test] Add multiout tests

This patch add multiout tests

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Fix] fix inconsistency when saving a model

When saving a model, if added order is different from sorted order,
loading a model with binary breaks some times

eg)
a -> b
  \
   v
   c

and layer was added a, b, c
it is being sorted to a, c, b

When this is saved, it is saved a, c, b.
When loading the graph from saved file it is loaded a, b, c.

This patch fixes this inconsistency happens when saving a model.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[graph] Use connection info for outputs

This patch enable connection infromation to inbound connection starting
from output while deprecating some unused methods

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[graph] implement setOutputConnections

THis patch implement setOutputConnections. Now, every connection has
defined place to be, we can pin point where the connection has to go.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[tidy] Remove getInputLayers usage

This patch removes getInputLayers usage as connection is now defined by
name + index, getInputLayers poses ambiguity.

**Changes proposed in this PR:**
- Also, connection now has hash function defined.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[nn] Apply input connection to compile/initialize

**Changes proposed in this PR:**
- input connection is used for previous realizer/graph.initialize
- temporary string cast operator deleted

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[nn] InputLayer->InputConnection

This patch substitue input layer to input connection while removing
props::InputLayer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[props] Extract connection

This patch extract connection from common_properties to have more room
to handle connections freely

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[layer] perform layer context check on first forward

This patch enables layer context check on the first forward itself,
which revealed a bug in forward which was earlier being shown in the
calcGradient in mol attention layer.
Added the corresponding fix for mol attention layer.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Add MoL layer unittest

Add MoL layer golden test.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Add full support of MoL attention layer

Add MoL attention layer backwarding, exportTo, setbatch member
functions.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Prepare for multiple inheritance for layer

Prepare for multiple inheritance for layers by marking public virtual of
the base class.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[translayer] Fix for fc without bias

Bug fix to work with fc layer with disabled bias.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Bug fix for copy

This patch adds bug fix for copy with stride where both the source and
destination tensors are now allowed to be strided tensors.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Use dot derivative in fc/attention

Use the dot derivative operation in both fc and attention layer.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor] Add derivatives for dot operation

Add derivatives for the dot operation as an easier interface to
calculate derivative for a dot operation used in the forward for both
the inputs.
Add the corresponding interface for dot_batched as well.

See Also #1721

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tensor Sharing] Make tensor sharing private by default

Add a boolean to tell sharing should be enabled or not for a certian
`requestTensor()`. If this value is off, it means make tensor should be
only used inside the certain tensor (like a local variable) and not
shared.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ Fix ] bug fixes in tensor_pool and resnet

There were bugs releate with,
  . Tensor_pool try to allocate even if there is no need
  . Resnet in RandomData generate batch size data

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Header] Remove nntrainer_log.h from app_context.h

This patch removes nntrainer_log.h from app_context.h and implement
additional safecheck

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Dev] Expose app context header

This patch exposes app context header to make custom layer deployable.
Please note that this is a temporary measure and we might want to use
diffrent abstraction for this.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[layer] Unittests for reduce mean layer

This patch adds unittests for reduce mean layer with bug fix.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Add support for reduce mean layer

This patch adds support for reduce_mean layer with forwarding and
backwarding implementation.
Basic unittests are added.

Golden unittests will come in the next patch.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[gradclip] hot fix + unittests

gradient clipping works by adding extending the execution order of the
gradients to the last node, where the global norm is calculated and the
gradients are clipped and applied.
However, weight sharing use of gradients also relies on the last access
of the gradient and gradient clipping disturbs the balance of gradient
last access.
As a quick fix, if gradient clip is enabled, the last access is replaced
with second to last access.

A better way would be for clipping to be layer, and then last access by
clipping layer would be a valid access and balance to the system can be
maintained.

Unittests for gradient clipping is added with and without weight
sharing.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[model/graph] Clip the gradients and then apply

- Calculate the global norm for the gradients which needs to be clipped
- Clip the gradients with the calculated global norm
- apply the clipped gradients

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[model/graph] Skip apply gradients if it is to be clipped

skip applying gradients if it is to be clipped by the global norm.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[graph/manager] Extend gradient execution for clipping

Extend the execution order for the gradients if it used for clipping by
global norm. The gradient is extended by the max execution order where
the norm of the gradients will be calculated and used to update and
apply the gradients.
This is done while requesting the gradient itself at the first time as
the layer properties are finalized by then.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layernode] Add property clip gradient by norm

Add the property clip gradient by norm and propagate the property to
each weight by the layer.
ClipGradByNorm property will clip the gradients by the global norm of
the weights with this value set. Each layer's weight can have different
scaling clip value.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Test] Add simple multiple inout case

This patch add simple multiple inout case

**Additional changes**
- model test now have options for v2
- fix bugs that save_load test was not actually loading graph
from the saved ini

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[trivial] Add note on the freq

This patch add note on the frequency map

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[tensor] Support batched dot operation

Add support for batched dot operaiton. Provide cleanup for both the
attention layers.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Unittest + forwarding fix for mol

This patch adds basic validation unittests + forwarding fix for mol
attention layer.
Further a validation test for mol layer is also added for larger size,
and nntrainer model is fixed to support multiple inputs.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Forwarding implementation for mol attention layer

This patch provides the forwarding implementation for the mol attention
layer. New underlying requirements have been added with this which
requires more tensor operations to support strided operations like
softmax and divide which will be supported soon.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Support properties for MoL attention layer

This patch provides support for all the properties required for MoL
attention layer.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Scaffolding for MoL Attention Layer

This patch prepares scaffolding for MoL Attention Layer.
Attention layer has also been updated for MoLAttentionLayer to extend
AttentionLayer.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[KLD loss] kld loss scaffolding

This patch add kld loss scaffolding

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Clean] Remove unused function

remove unused function before adaption multioutput.

Main reason for the clean is that the functions are not used but
hard to maintain for the incoming change of adapting multi output

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[nn] Attach activation realizer

This patch attach activation realizer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Test] Activation realizer test

This patch implement activation realizer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Realizer] Implement activation realizer

This patch implement activation realizer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[nn] Attach multiout realizer

This patch add multiout realizer to the neural network.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Test] Add multiout realizer test

This patch add multiout realizer test

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[MultiOut] Implement multiout realizer

This patch implements multiout realizer which will gaurantee that
each input_layer only refers to a single connection (tensor)

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Remap] Introduce remapping only identifiers

This patch introduce way to remap only connections.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Multiout/trivial] Add scaffolding for mo realizer

This patch add multiout realizer scaffolding

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[layer] Embedding layer support ZeroMaskIdx

Embedding layer support zero mask index which if set will pass zero
values for that particular index in the forward propagation and will not
be updated with gradient.

Further minor updates to tensor related to getting tensor values.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Embedding input data format

Embedding layer should assume that the input data is written in int
format than in float data. Reading data as float can lead to wrong
values when typecasting to int if std::lround() is not properly used.
Further, as other frameworks require using integer data for embedding,
its best if follow the same input formats.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Node] Add get/set method to manipulate connection

This patch add get/set method to input connections for further use

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Node] replace output layer string -> connection

This patch replaces output layer from string to connection

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Node] Replace input layers -> input connection

This patch replace input layers to input connection.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Connection] Add indexing to connection

This patch revisition connection spec to contain identifier and index to
make use of it.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[fix] Set input layer when given input layer is empty

 - Added input layer from the graph when given input layer is empty

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>
Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[trivial/Fix] add dependency header

As fwd declaration is widely used, run context header needs to be added
where it is being used

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[QuickFix] Disable contiguous check on add_i

 - For now disable contiguous check of tensor on add_i
    since the add_strided does not support broadcast.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Android ] add static option for openmp

This is the fix for "cannot find libomp.so"

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[layer] missing layer constructor

Add missing layer constructor for permute.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Bug fix for permute layer

Permute layer backward bug in the calculation of the reverse
direction of the permute is fixed.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Shape mismatch check in reshape layer

Add shape mismatch check in reshape layer.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

 [layer devel] clean up header dependency

This patch clean up header dependency related to layer devel which
is being included in so many places and does not need layer_context to
be included in it's translation unit

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Build] Use iosfwd instead of iostream

This patch changes <iostream> to iosfwd when it is not really needed

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[nn] Apply previous input realizer

This patch applies previous input realizer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Fix] Flatten realizer to not rely on default Layer Addition

As default layer add happens before realizer, flatten layer must not
depend on the layer adding behavior.

This patch fixes flatten realizer to not depend.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Realizer] Implement previous input realizer

This patch implement previous input realizer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Realizer] Implement previous input realizer test

This patch implement previous input realizer test to demonstrate
specification of previout input realizer

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Scaffolding] previous input realizer

This patch implements previous input realizer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[test] Enable layer node test

Enable the layer node test.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Add] add leaky relu to actifun

This patch add leaky relu to actifun, for now there is no need to add
slope parameter, this is more like a quick fix

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[unittest] Implement grucell unittest

 - Verify grucell with tensorflow by layer unittest
 - Added grucell model unittest to verify multi unit/timestep, stacked, unroll situation with pytorch
 - Todo: Finds other way without copying when convert gate order of pytorch grucell

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[grucell] Implement grucell

 - Support add with non-contiguous tensor
 - Implement grucell which is run only 1 timestep
 - Todo:
   1. Make it more efficient with strided tensor(Reduce copy tensor)
   2. Reduce temporary tensor or do inplace operation

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[bugfix] Bugfix on tensor sum

 - Check beta is null when copy the origin data on sum function and added unittest
 - Remove argument beta on outplace sum function
 - Makes bias_hh to zero instead of bias_ih in recurrent models when convert pytorch to nntrainer
 - Fix typos

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[graph] Reduce metadata overhead of slice realizer

Slice realizer was storing the path for each node from the start nodes
to themselves. This can be big, and also comes with a overhead of
storing and copying these paths for each node.

This patch updates the implementation of the dfs to a recursive approach
which maintains the stack of the nodes in the memory which represents
the path till now.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[graph] Bug fix for slice realizer

Below bugs have been fixed for the slice realizer:
- end layers were being added using children which were not set yet
- the dfs_stack never ignored nodes which had already been visited which
was leading to infinite loop
- an invalid graph given with loops would be stuck in infinite loop in
the DFS

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layer] Add exportTo for concat layer

Concat layer has properties which were not being saved. This patch adds
the corresponding support.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Test] Add singleshot case test

Add singleshot test case when ml_inference get null input information

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Filter] Add dimension inference mechanism

This patch add dimension inference mechanism as requested.
Please refer to nnstreamer/api#105 for details

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Tp] Propose new tensor spec

This patch proposes new tensor specification

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[tensor] Add checks for non-contiguous tensor before operations

This patch adds checks for contiguous tensors ensuring that operations
which dont support non-contiguous tensors throw on receiving the
non-contiguous tensors.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Trivial] Delete duplicated file

This patch delete duplicated test file that is not used anywhere

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Feature check] Add tizen 6.5 compatibility

As prefix has been added to the `ml_tizen_set_feature_state` for tizen
7.0 this patch makes backward compatible to the old tizen version

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ README ] Add SSDC2021 presentation

Add SSDC2021 Presentation in README

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[QuickFix] Check weight access for the last

This patch sets lastGradientAccess and firstGraidentAccess based on the
weight access order for non-trainable tensor.

This is a improviser and must be handled in a correct way.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Weights] Add last access concept

As all weights are shared now, we need last accesss to be deteremined
This patch implements such behavior with a test

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[QuickFix] Add not dependent weight sharing

This patch allows weight sharing regardless of allocation order of
weight sharing

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Build] Fix fbs causing rebuilding

This patch fixes flatbuffer cause rebuilding.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Fix] api feature check problem

This is an emergency measure for feature check is failing inside
unittest of gbs build.

Also enabled ml_inference test

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>