Fix eigen package checking (#2693)

Fix eigen package checking in external

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change externals download URL (#2689)

Change externals download URL from internal mirror to github

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[Contrib] OpenCL experiment code (#2685)

This code checks if devices in a GPU use same memory address.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Fix gbs build fail : add python to buildrequire (#2687)

- Fix gbs build fail : add python to buildrequire

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Unify duplicate DataType definition (#2671)

This commit unifies duplicate DataType definition.
It can remove `cpu specific` includes for acl_cl kernel.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enabling Tanh on pureACL NEON runtime (#2674)

This patch enables the TANH operation on pureACL NEON runtime.

Signed-off-by: prasannar <prasanna.r@samusng.com>

Enable Squeeze on pureACL on NEON runtime (#2682)

This patch will add Squueze op for Neon runtime in pureACL

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix externals CMake (#2683)

Fix externals CMake
- Remove unused include directories
- Remove unused packages on arm cross build
- Change eigen library name

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce Permute operation (#2670)

Introduce Permute operation which is for tensor permutation. This
operation is not one of NNAPI operations but inserted internally in the
graph to convert different tensor layouts.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove git submodule and use download (#2678)

Instead of using git submodule, use download for externals
(except tensorflow and acl)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix copyright in ARMComputeEx (CLReductionMean.h, fixed_point.h) (#2665)

Related Issue: #2663

- Add our copyright since we added `CLReductionMean` kernel.
- Add our copyright since `fixed_point.h` (not existing since ACL18.08) was modified
from ACL18.x.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Use CLKernellibraryEx on our own kernels (#2675)

* Use CLKernellibraryEx on our own kernels

- Change  CLKernellibrary to CLKernellibraryEx
- add initilaization of CLKernellibraryEx before creating kernel
FIXME: please suggest better way

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* CLKernellibraryEx initialization on Compilation_finish

- Remove initialization on kernel's configure step
- Add initialization on Compilation_finish

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Make resolve_includes.py work for Python 2 and 3 (#2681)

Previously lines with `print` work only on Python 2. Modified for Python 3.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Implementing L2Normalization operation in NNAPI (#2642)

This commit implements L2Normalization operation in pure_arm_compute runtime.

Signed-off-by: prasannar <prasanna.r@samusng.com>

[neurun] Fix Index casting (#2666)

* [neurun] Fix Index casting

Before Index was used `int32_t` but now it is `uint32_t`. However in
some code the casting is not changed accordingly. This commit changes
those unchanged code and fix misleading comments.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Return BAD_DATA instead of assertion

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Use include instead of find_package for module (#2667)

Define nnfw_include to use include instead of find_package
Change ExternalProjectTools, ExternelSourceTools, and OptionTools to use nnfw_include (same with nncc)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable FLOOR on pureacl NEON runtime (#2664)

This patch enables the ```Floor``` operation on pureACL ```NEON``` runtime.

Signed-off-by: prasannar <prasanna.r@samusng.com>

Introduce HashtableLookup op in PACL runtime (#2655)

This commit introduces ANEURALNETWORKS_HASHTABLE_LOOKUP in PACL.
Related issue: #2654

Signed-off-by: Siva Sai <siva.sai@samsung.com>

[neurun] Update operand use/def info when inserting operation (#2660)

* [neurun] Update operand use/def info when inserting operation

Close : #2619

This commit updates operand use/def info when inserting operation)

- Update Use/Def info while inserting operation
- Do not allow inserting while model building
- Update TCs

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Seperate block for updating use/def and fix format break

Removing GeneratedTests.l2_pool_float* from the skiplist (#2648)

With #2587 and #2633   the l2_pool_float* cases passed. Removing from skip list.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Change gtest download cmake script (#2659)

Change gtest download cmake script simliar with nncc
Prepare supporting public server and mirror server download

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[Generated Tests] Update tests for embedding lookup (#2657)

* [Generated Tests] Update tests for embedding lookup

- Remove embedding_lookup in skip lists for pure-acl
- Add embedding_lookup_2d_nnfw for testing 2d tensor
- Add embedding_lookup_4d_nnfw for 4d tensor

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Append embed_xd_nnfw tests to neuron list

arm_compute extended library for nnfw (#2653)

* arm_compute extented library for nnfw

1. Add libarm_compute_ex.so into nnfw
 - Add CLKernelLibraryEx class : For newly added ops(e.g. cast,
 gather, topk2 ..), CLKernelLibraryEx will be used on next patch.

2. Generate clembed files
 - now, generate embeded_kernel by default
 - add python script
 - add generated files into gitignore list

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add samsung license / update gitignore

- Add samsung license into CLKernellibraryEx.h
- Update gitignore for embeded files and comments

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Introduce set operators for LayoutSet (#2658)

Introduce Union, Intersect and Minus operators to operand::LayoutSet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add assert condition to insertOperation (#2639)

The node to be added in `Graph::insertOperation` must not have any
inputs.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Implement EMBEDDING_LOOKUP op in pure_acl on cpu (#2647)

* Implement EMBEDDING_LOOKUP op in pure_acl on cpu

Implement EMBEDDING_LOOKUP op in pure_acl on cpu

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Apply comments

- For 1d tensor, asTensorShape(shape, true)
- Use output_info for offset

* Change output to values

Add run_benchmark_tflite_model.sh (#2640)

Related Issue: #2544

`run_benchmark_tflite_model.sh` will run `tflite_benchmark_model` tool
with `run_benchmark_tflite_model.in` as input.

`run_benchmark_tflite_model.in` can have several lines.
Each line is a pair of (model name, its parameters for `tflite_benchmark_model`).
Its delimeter is `\t`.

For example, see `run_benchmark_tflite_mode.in`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add our license under runtimes/pure_arm_compute (#2649)

Related Issue: #2644

Add our licenses for all *.[cpp,cc,h] under runtimse/pure_arm_compute

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Add license to source files (#2651)

This commit prepends license comment to the source files.

Resovle #2645

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Parameter to set mirror sever (#2652)

Add new parameter in run_test.sh to set model file's mirror server

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Set umask for temp file generation (#2637)

Set umask and recover after generate temporary file to avoid security issue

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Adding explicit padding support for L2Pool2D (#2633)

This commit enables L2Pool2D operation with explicit padding.
Related issue: #2562

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Remove tensor.h deps of RSQRT, SQDiff (#2638)

To fix gbs build, remove tensor.h deps of RSQRT and SQDiff

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

BUILD_TYPE=Release is specified in docker_env for tflite_benchmark_model (#2641)

Previously, build_type was specified in CI's groovy script.
But I would like to set all environment in one place - docker env file.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Revise framework test list (#2636)

- Change directory structure: test/{tflite op name}/{testname}
- Add new framework tests to support more operators
- Update test list for neurun and benchmark_op

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce EMBEDDING_LOOKUP op to pure_acl (#2631)

Introduce EMBEDDING_LOOKUP op to pure_acl

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Implement Lowering operands (#2630)

This commit implements lowering for operands in `Graph::lower`.
operands lowering does the following:

- Normalize to 4D shape (rank greater than 4 does not supported)
- Collect info of operand layouts for def/use

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce asShape4D (#2626)

This commit introduces asShape4D function to convert from
`operand::Shape` to `operand::LowerInfo::Shape4D`. This is
normalization to 4D shape.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add LowerInfo to operand::Object (#2628)

Add LowerInfo to operand::Object as a member.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Diff: initialize output tensor (#2627)

Initialize output tensor as zero
Need to RNN hidden state initialize

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce operand::LowerInfo (#2622)

This commit introduces operand::LowerInfo which contains normalized
4D shape and tensor layout.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add Transpose into nnapi_delegate (#2624)

This commit enables TF Lite to call Transpose operation of NNAPI.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Add basic methods to LayoutSet (#2623)

Introduce `contains` and `size` method for user queries.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Enabling L2Pool2D Operation in NNAPI (#2587)

* Enabling PAD operation in NNAPI

This commit enables PAD operation in pure_arm_compute runtime

Signed-off-by: Siva Sai <siva.sai@samsung.com>
* Enabling L2Pool2D Operation in NNAPI

This commit enables L2Pool2D (Implicit Padding) operation in PACL runtime.
Related issue: #2562

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Remove unnecessary CAST_CL from pure_arm_compute (#2617)

This commit removes unnecessary CAST_CL from pure_arm_compute.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement SPACE_TO_DEPTH operation for CPU (#2614)

This commit implements SPACE_TO_DEPTH operation in pure_arm_compute for CPU.
- Add a layer that supports SPACE_TO_DEPTH for CPU.
- Add a function to get ::arm_compute::Coordinates by the rank.
- Implement SPACE_TO_DEPTH operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Use ExternalData for zero length value (#2618)

Use ExternalData for object with no value (nullptr buffer from setOperandValue)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

TFlite file generator for FLOOR, PAD, SQUEEZE, TRANSPOSE (#2609)

This python script generates four tflite files for FLOOR, PAD, SQUEEZE and TRANSPOSE respectively.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Add IBackendConfig getter to Backend (#2611)

Add `IBackendConfig` getter `config()` method to `Backend`. We need to
keep it otherwise we do not have any way to call `getOperandLayout()`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce operand::LayoutSet (#2613)

LayoutSet is a set data structure for operand::Layout.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Move Source and Sink to `exec` dir (#2612)

Move `Source` and `Sink` to exec directory and change namespace from
`internal` to `exec`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[Model Parse] Parsing exceptional case: tensor index (#2593)

Parsing exceptional case when tensor index is less than 0

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce SPACE_TO_DEPTH operation into pure_arm_compute (#2601)

This commit introduce SPACE_TO_DEPTH operation into pure_arm_compute.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Change namespace of BackendXX to backend (#2603)

* [neurun] Change namespace of BackendXX to backend

Tshi commit changes namespace of BackendXX to backend.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Revert BackendResolver namespace

* Remove neurun::

Revert makfile to build pacl only (#2607)

Revert makfile to build pacl & test, not to build neurun

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Support iteration for operand::Object (#2608)

Support const/non-const iteration for operand::Object.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[PureACL] Enable NEON to run Mobilenet (#2600)

This commit enables NEON to run Mobilenet by providing `depthwise_conv` and `reshape` for NEON.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add fullyconnected and mean tests using tflite (#2606)

This commit add fullyconnected and mean directory for testing these tflite files.
It will automatically download the files from npuarchive.mooo server and test it.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Enable compile option Wall/Wextra/Werror for backend modules (#2604)

This commit enables compile option Wall/Wextra/Werror for backend modules.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Use unordered_map instead of map (#2605)

Update `operand::Set` and `operation::Set` to use `std::unordered_map`
rather than `std::map`. Also update use key as Index instead of `int`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove unused includes for BackendResolver (#2596)

Related #2510

This commit removes unused includes for BackendResolver.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Define constructor for profile context (#2597)

Define constructor for profile context to initialize field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Initialize feature shape (#2598)

Initialize feature shape by constructor to remove uninitialized field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Use Index as key for unordered_map (#2594)

This commit revises `unordered_map`s to use `graph::Index` as key
which used `int` as key because hash function was not exist.

Related PR : #2590

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce getOperandLayout (#2591)

Introduce `IBackendConfig::getOperandLayout` which returns
`operand::Layout` for each backend. Note that this assumes a backend
only support one type of operand layout.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

SquaredDifference nnapi delegate and Custom ops addition (#2569)

This patch adds changes for SquaredDifference in nnapi delegate
and also adds related CustomOps changes.
SquaredDifference kernel has been added.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Use Index as key for unordered_set (#2590)

This commit revises `unordered_set`s to use `graph::Index` as key
which used `int` as key because hash function was not exist.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Do not use addTensorBuilder (#2573)

PR #2563 has introduced `IPlanBuilder::addTensorBuilder`. However
adding a call to `addTensorBuilder` for all nodes from Planner is an
overhead for development. So this commit revises to remove the calls.

However with this commit, `Linear::markTensor` method returns
`TensorBuilderSet` and passes it to `PlanBuilder::finalize`. Still
need to enhance this structure, so TODO comments are left.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[Model Parser] Update tflite file API (#2580)

Update tflite file API: schema in tensorflow r1.10

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Rename IBackendInitializer (#2583)

Rename IBackendInitializer to IBackendConfig. This is for adding other
methods to this interface class.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce `benchmark_tflite_model` option in test_driver.sh (#2582)

Related Issue: #2544

In addition, garden test_driver.sh

- Align the usage message
- $MY_PATH is renamed to $TEST_DRIVER_DIR
- $ARTIFACT_PATH is not mandatory option any more.
  It is set based on $TEST_DRIVER_PATH automatically

`run_benchmark_tflite_model.sh` will be added in next PR.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add docker_env_pureacl_tflite_benchmark_model (#2566)

To build tflite_benchmark_model using docker, the corresponding docker
environment is added.

To distinguish tflite benchmark model for neurun, the env file gets
pureacl in the middle of the name.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Specialize `std::hash` for Index class (#2585)

(partially) Specialize `std::hash` for `graph::Index` class.
This will enable having Index as the key in "std::unordered_.."
containers.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[Model Parser] Update flatbuffers path (#2579)

Update flatbuffers path to use flatbuffer python library

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Catch exception in nnapi test (#2581)

Catch exception in nnapi test to avoid warning

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use unique pointer for ANeuralNetworksMemory (#2578)

Use unique pointer for ANeuralNetworksMemory to avoid memory leak warning

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Change path for wrapping structure (#2571)

Change path for NeuralNetworks.h's wrapping structure

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Coverity cross build & analyze script (#2560)

Coverity cross build & analyze script for daily coverity report

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing GeneratedTests.pad from the skiplist (#2574)

As #2097 is merged, this commit removes GeneratedTests.pad from the skiplist.

Signed-off-by: Siva Sai <siva.sai@samsung.com>

[neurun] Do BackendResolver in lowering (#2563)

* [neurun] Do BackendResolver in lowering

This commit moves doing BackendResolver into lowring in graph.

- TensorBuilder doesn't get Plan in constructor anymore.
- LowerInfo includes Backend class not backend string.
- BackendResolver returns only Backend class.

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com
* Change backend() to getBackend()

Initialize members in DiffSummary constructor (#2568)

Initialize members in DiffSummary constructor to avoid warning

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Define default value in constructor (#2567)

Define default value in constructor for kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enhance DFS implementation (#2561)

Now that we have operand def/use info, we can do DFS efficiently.
This is applied to PostDfsIterator. This might also be applied to
DAGVerifier, but operand def/use info is built when Graph building is
finished.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use MockNode.h in Insert test (#2565)

This commit uses `MockNode.h` in Insert test.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

nnfw Adding SquaredDifferenceEx in NeuralNetworksEx.h (#2555)

This patch adds '''ANEURALNETWORKS_SQUARED_DIFFERENCE_EX''' in the ''' NeuralNetworksEx.h'''

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Use forward declaration from a header (#2557)

Forward declare for the interfaces that are used from
`BackendManger.h`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use forward decl from Node (#2558)

Forward declare `LowerInfo` from `operation::Node` to reduce
dependencies.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change check condition for addOperation & addOperationEx (#2551)

Change check condition for addOperation & addOperationEx to same with pacl

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enabling PAD operation in NNAPI (#2097)

This commit enables PAD operation in pure_arm_compute runtime

Signed-off-by: Siva Sai <siva.sai@samsung.com>

[neurun] Range-based loop for operand::IndexSet (#2554)

Support and apply range-based loop for operand::IndexSet and remove
`list()` method.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Move CLSchedule default init to BackendManager (#2526)

* [neurun] Move CLSchedule default init to BackendManager

This commit moves CLSchedule default init to BackendManager, since it is ACL_CL specific code.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Extract backend initializer

* Add eol

* Remove unnecessary variable

* Remove unused include

Change check condition for addOperationEx (#2550)

Change check condition for addOperationEx to same with addOperation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tool] OpenCL info (#2549)

This tool shows information from OpenCL : info of paltform, context and devices.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Return nullptr for NOP stage generator (#2553)

Return nullptr for NOP stage generator

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Comment out unreachable code (#2552)

Comment out unreachable code in cpu kernel to avoid svace warning

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Update use-def init test (#2545)

Use SimpleMockNode in header
Remove unused namespace alias

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Make initializeUseDef less verbose (#2546)

Make `Graph::initializeUseDef` implementation less verbose via using
directly a lambda function.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce DefaultIterator (#2535)

Introduce a default iterator that just iterates in the order of
`operation::Set::iterate` method.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add memcpy() version of generic TensorSource for 3D tensor (#2477)

This commit adds memcpy() version of generic TensorSource for 3D tensor.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add a default param to asTensorShape() to apply conditionally (#2464)

This commit add a default param to asTensorShape() to apply conditionally dimension coorection.

In some cases, in incorrect dimensions is required.
For example, intput_size is 1 in LSTM. The input-to-input weights([num_units, input_size]) of LSTM is used as the weight of the FullyConnected.
The FullyConnected's weight must be greater or equal than 2-dimensions.
However, if the dimension correction is applied to input_to_input_weights with input_size equal to 1, it will be changed to 1-D.
So input_to_input_weights is not used by the weight of FullyConnected.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>