[loco] Shaped Graph Input/Output (#4325)

This commit extends GraphInput & GraphOutput with the field and methods
related with shape.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce EigenSource package for TensorFlow 1.12. (#4328)

This commit introduces "EigenSource-fd6845384b86" for TensorFlow 1.12.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce DepthwiseConv2D (#4322)

This commit introduce DepthwiseConv2D which represents depthwise
2D convolutional operation.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/tf] fix TFNodeSummaryBuilder TFRsqrt (#4334)

This will add TFRsqrt for TFNodeSummaryBuilder that was recently added

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] TF Formatted Graph support (#4310)

* [moco/tf] TF Formatted Graph support

This will introduce TF node summary builder and related classes to dump valid TF dialect names in graph dump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename class

* remove not ready node

[moco/tf] Log helper (#4323)

* [moco/tf] Log helper

This will add helper functions to dump Feature or Filter to stream

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use loco namespace

[moco/tf] Remove Knob in Const Importer unittest (#4316)

This commit removes all the use of "Knob" in Const Importer unittest.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] more logs in fix shape for const (#4315)

* [moco/tf] more logs in fix shape for const

This will log Const node shape information in shape inference

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use helper

* include header

[loco] Introduce CanonicalNodeDef interface (#4302)

This commit introduces CanonicalNodeDef interfaces which takes multiple
Mixins all at once.

Compared with existing CanonicalNodeImpl, CanonicalNodeDef emits uniform
declarations that begin with "CanonicalNodeDef<OPCODE, ...>", which makes
it easy to read the code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Introduce TFRsqrt IR (#4317)

This will introduce TFRsqrt IR and related codes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Remove Knob in Conv2D importer test (#4303)

This commit removes Knob in Conv2D importer test. Each unittest run
now tests both loco.TF and loco.Canonical importers at once.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Use Visitor in Operation Exporter (#4300)

This commit revises the implementation of Operation Exporter using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Visitor-based Type Inference (#4296)

* [exo/tflite] Visitor-based Type Inference

This commit revises the implemenation of TypeInference module using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix subobject-linkage warning

* Explain why there is type context update

[exo/tflite] Visitor-based Shape Inference (#4299)

* [exo/tflite] Visitor-based Shape Inference

This commit revises the implementation of ShapeInference using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix subobject-linkage warning

[moco/tf] ResolveFBN for only active nodes (#4311)

This will change ResolveFusedBatchNorm transformation to iterate only active nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Canonicalize Const (#4312)

This will add canonicalization for Const node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Relocate CMake extensions (#4308)

This commit relocates top-level cmake directory into infra/nncc, and
updates relevant top-level CMakeLists.txt

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Relocate nncc commands (#4307)

All the nncc commands are now in infra/nncc/command.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Relocate nncc configurations (#4248)

This commit introduces "infra/nncc/config" directory, and move all the
.configuration files into this directory.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Setting basic data of constgen in test (#4304)

After creating `constgen` in `optimizer.test.cpp`, `dtype` and `size` are now set to proper values.
Some transforms (which is being written) needs dtype and values and this commit enables these transforms to run OK.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[res] TF_SMALL_NET_0010 (#4301)

This will add TF_SMALL_NET_0010 test that has "BiasAdd" + "Add" network

This is to test fusion of Add into BiasAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Prevent input/output index overflow (#4286)

This commit make assertion on input and output index to be less than
their size.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[res/test] TF_SMALL_NET_0009 (#4287)

This network is Conv2D + BiasAdd + Add to check fusion of BiasAdd + Add to BiasAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locoex/customop] Adding COpCall node (#4290)

COpCall node (previously merged as Call node) is added with some methods.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/tf] Test BiasAdd Importer without Knob (#4265)

This commit removes Knob from BiasAdd test implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Use TFConst for Resolve FBN (#4291)

This will change ResolveFusedBatchNorm transformation to use TFConst instead of ConstGen as an inputs

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locoex/customop] Change name of file (#4288)

Previous `AttrTypes.h` is now renamed to `COpAttrTypes.h`

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Permuting encoder for DepthwiseFilter (#4284)

This commit introduces permuting encoder for depthwise filter domain.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/tf] Skip fix_shape for add when disconnected (#4282)

This will skip fix_shape for TFAdd node when it's disconnected from some transformation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Permutation for DepthwiseFilter (#4280)

This commit introduces permutation between DepthwiseFilter and Tensor.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce DepthwiseFilterAxis (#4278)

This commit introduces DepthwiseFilterAxis to describe each axis of
depthwise convolution filter.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce DepthwiseFilter Domain (#4277)

This commit introduces new DepthwiseFilter Domain. Also comment to
clarify meaning between Filter and DepthwiseFilter is added.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Extract SymbolTable class (#4276)

This commit extracts SymbolTable class into a separate file (to simplify
FormattedGraph.h).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Revise Const unit test (#4271)

This will revise Const unit test to test TFConst with a knob and test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Implement fix_shape for TFConst (#4274)

This will implement fix_shape() for TFConst node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise FusedBatchNorm unit test (#4272)

This will revise FusedBatchNorm unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Introduce DepthwiseFilterEncode (#4273)

This commit introduces DepthwiseFilterEncode loco canonical dialect
node. This node encodes tensor from input node into depthwise filter.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Extract StampTools module (#4268)

This commit extracts StampTools module from ExternalSourceTools.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce DepthwiseFilterEncoder (#4270)

DepthwiseFilterEncoder describes how tensor should be encoded into
depthwise convolutional filter.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[mocotest/tf] Enable Relu6_000 test (#4266)

Let's check whether moco.tf frontend works well for Relu6_000 via
locomotiv.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Fix ConstCanonicalizer (#4269)

This will fix ConstCanonicalizer to allocate const data buffer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise Conv2D unit test (#4267)

This will revise Conv2D unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise Concat unit test (#4244)

* [moco/tf] Revise Concat unit test

This will revise Concat unit test test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use find_first_node_bytype

* apply comments

[loco] Introduce DepthwiseFilterIndex (#4263)

DepthwiseFilterIndex represents specific index in DepthwiseFilterShape.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/tf] Import as TFConst (#4261)

This will introduce Knbo for import as TFConst and the changes to import Const as TFConst node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Canonicalize Const (#4252)

* [moco/tf] Canonicalize Const

This will introdude ConstCanonicalize to canonicalize TFConst to ConstGen

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comment

[moco/tf] Check canonicalization (#4257)

* [moco/tf] Check canonicalization

This will add a check routine if canonicalization has really done its task

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* extract helper function

[locoex/customop] make ctor of COpAttrData protected (#4260)

This commit makes ctor of COpAttrData protected since the ctor is called only by children.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/tf] Chainable GraphBuilderRegistry (#4258)

This commit allows users to build a GraphBuilderRegistry chain.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Importer with User-Defined GraphBuilderSource (#4259)

This commit introduces a new Importer constructor which allows users to
inject their-own GraphBuilderSource to Importer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locoex/customop] Introducing COpNode class (#4253)

* [locoex/customop] Introducing COpNode class

This commit adds COpNode class for locoex custom op.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove COpNodeImpl

Introduce tfgraph-xform (#4251)

* Introduce tfgraph-xform

Let's build TensorFlow "transform_graph" without Bazel!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update comments

Add TensorFlow Relu6 test (#4256)

This commit adds Relu6_000 TensorFlow testcase.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Extract ShapeInference (#4255)

This commit introduces ShapeInference.h and ShapeInference.cpp and
extracts all the declarations and implementations related with
ShapeInference from TypeInference.h & TypeInference.cpp.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce DepthwiseFilterShape (#4250)

DepthwiseFilterShape represents shape for filter used by Depthwise
2D Convolution.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/tf] Revise AvgPool2D unit test (#4242)

This will revise AvgPool2D unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add execution permission to make_directories (#4249)

The current make_directories in TensorFlowProtoText package has no
execution permission.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Introduce TFConst (#4240)

This will introduce TFConst IR and related minimum codes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Fix PadData and PaddingData header (#4212)

This will fix comments of PadData and PaddingData where brief is too long
and also some notes about difference in between to lower confusion.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise ReLU6 unit test (#4247)

This will revise ReLU6 unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise ReLU unit test (#4246)

This will revise ReLU unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise MaxPool2D unit test (#4245)

This will revise MaxPool2D unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Revise BiasAdd unit test (#4243)

This will revise BiasAdd unit test to test only related properties

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locoex/customop] Attr types and data structure (#4203)

* [locoex/customop] Attr types and data structure

This file contains attribute types and structs to hold the value of attr types.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* renaming: attrType() -> type()

* removed customop dir and namespace

* remvoe attrTypeTraits. This will be committed later

* Rename class name

[locoex/customop] Dialect for Customop (#4209)

* [locoex/customop] Dialect for Customop

This adds Dialects declaration for custom op.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove 'customop' dir and milestone. change class name.

[exo/tflite] Do NOT export Identity (#4237)

This commit revises TensorAllocation to allocate the same operand
to the input and output of "identity"-like operations, and revises
OperationExporter not to export such operations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce TensorFlowProtoText 1.12 package (#4230)

* Introduce TensorFlowProtoText 1.12 package

This commit introduces TensorFlowProtoText 1.12 package, which provies
"proto_text" executable (with a different name) required for TensorFlow
build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Be compatibile with CMake 3.1

Introduce and use import function for configuraiton loading (#4206)

This commit revises nncc & command scripts not to depend on
"NNCC_SCRIPT_PATH" variable.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Fix macro undef (#4210)

This will fix another wrong undef in FixPaddingTransform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce GraphBuilderSource interface (#4235)

This commit extracts GraphBuilderSource from GraphBuilderRegistry
which supports only lookup method.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] helper of test to find nodes by type (#4241)

This will add find_nodes_bytype() for unit tests to find nodes by type

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce find node by type test helper (#4226)

* [moco/tf] Introduce find node by type test helper

This will introduce find_node_bytype in test helper to find a node with a specific type

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename and include header

[moco/tf] Enable FeatureDecode-ReLU reorder by default (#4228)

It turns out that "FeatureDecode-ReLU" reorder transformation is
compatible with all the current implementation.

Let's enable this transformation by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Support FeatureBiasAdd (#4229)

T/F Lite exporter now accepts FeatureBiasAdd node.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Stop CMake immediately on GTest configure/build error (#4232)

Now, CMake stops immediately on GTest configure/build fails.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Stop CMake immediately on FlatBuffer configure/build error (#4231)

Now, CMake configuration stops immediately if FlatBuffer configure/build
fails.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Import as TFConv2D (#4223)

This will enable import as TFConv2D

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo/tflite] Export T/F Lite operation in exeuction order (#4222)

* [exo/tflite] Export T/F Lite operation in exeuction order

The current implementations generates T/F Lite operators following node
generation order which may differ from actual execution order.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Apply patch

[moco/tf] Selective Reorder (#4216)

This commit allows users to control whether to apply reorder transform
per operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Remove commented function declarations (#4218)

These functions declarations are no longer used, but just commented
to reduce the amount of code diff.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Export Tensors after Allocation (#4199)

This commit rewrites exportOpDefinedTensors as a 2-stage function. Now,
exportOpDefinedTensors first allocates a T/F Lite tensor first, and then
export allocated T/F Lite tensors.

The first phase iterates over loco nodes, but the second phase now
iterates over allocated T/F Lite tensors.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[mocotest/tf] Use CMake include (#4214)

This commit revises how to add moco a T/F testcase. This change allows
users to comment out some testcases temporarily.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Move Transform.test.cpp (#4217)

Transform.cpp is in the top-level source directory, but Transform.test.cpp
is currently inside Transforms directory.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locoex/customop] Introducing VariadicArityNode (#4189)

* [locoex/customop] Introducing VariadicArityNode

In case of custom op, we don't know how many inputs custom op has.
Because of this, previous we need this (previous FixedArityNode cannot handle this situation)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* unsigned to uint32_t, remove _arity member variable and duplicate assert()

* test case

* removed customop dir and namespace

* use unused var pull_02

Update git ignore file (#4173)

Cleanup .gitignore file to manage files generated by official tool only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] TF_SMALL_NET_0008 with Conv2D + Add (#4207)

This will introduce TF_SMALL_NET_0008 having Conv2d and Add node
This is to check FuseBinaryIntoPreceding transformation that fuses Add into Conv2D + BiasAdd
where BiasAdd will be created with 0 bias if not exist

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locop] Introduce CanonicalNodeSummaryBuilder (#4205)

* [locop] Introduce CanonicalNodeSummaryBuilder

This commit introduces CanonicalNodeSummaryBuilder, which allows users
to embed CanonicalNodeSummryBuilder into their own NodeSummaryBuilder.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update example

Stop CMake immediately on Protobuf configure/build failure (#4215)

The current implementation just returns with STATUS message.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Add license notice (#4213)

There is no license notice in FormattedGraph.h and ForamttedGraph.cpp.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Show lines in transformation log (#4190)

This will show lines in PhaseRunner for better readability in between transforms and phase

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF_SMALL_NET_0007 with Conv2D+Mul (#4200)

This will introduce TF_SMALL_NET_0007 having Conv2D and Mul node
This is to check FuseBinaryIntoPreceding transformation that fuses Mul into Conv2D kernel and be removed

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] TFConv2D to Conv2D Canonicalizer (#4202)

This will implement TFConv2D to Conv2D Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Fix macro undef (#4201)

This will fix macro undef to right name

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locop] Extract canonical_node_desc from node_desc (#4198)

This commit extracts canonical_node_desc helper from node_desc in order
to make it easy to reuse.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf2tflite] Enable Placeholder_000 and Multiple_IO_002 (#4196)

Recent changes on moco-tf and exo-tflite resolve Placeholder_000 and
Multiple_IO_002 test failure.

- moco-tf now eliminates Forward by default, which resolves
Placeholder_000 failure.
- exo-tflite now honor the input/output order, which resolves
Multiple_IO_002 failure.

This commit updates tf2tflite test framework to check Multiple_IO_002
and Placeholder_000 by default to prevent regression.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Use PadData and StrideData for TFConv2d (#4163)

* [moco/tf] Use PadData and StrideData for TFConv2d

This will fix TFConv2D related FixPadding and FixShare transformations to use PadData and ShapeData to simplify Canonicalization

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* check data_layout

* fix log message

* fix log message

[moco/tf] Add fix for shape and padding (#4188)

This will add fix for shape and padding after TF transformations that can add new nodes with empty shape and padding

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Remove unused Canonicalization files (#4191)

This will remove unused Canonicalization files that are replaced by the files in Canonicalization folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo/tflite] Hide ShapeContext (#4187)

This commit makes ShapeContext visible only to ShapeInference module,
and revises all the other modules to use "ShapeInferece::get".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Multiple_IO_002 TensorFlow test (#4181)

This commit adds Multiple_IO_002 test. This testcase allows us to
check what happens if there is a mismatch between node declataion order
and input order.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>