[locoex/customop] Initial commit for Custom Op (#4136)

* [locoex/customop] Initial commit for Custom Op

This is an initial commit for Custom Op. Parents for Custom Op will be added after successive PRs.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* revised

[moco/tf] Introduce ResolveFusedBatchNorm (#4125)

This will introduce ResolveFusedBatchNorm transformation that decomposes FusedBatchNorm node into Add and Mul

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo.tflite] Extract Type Inference as a separate phase (#4126)

This commit extracts (Data) Type Inference from exportOpDefinedTensor
phase.

This chanage allows users to infer types without exporting tensors.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[plier/tf] Move more functions from Moco::tf::convert.h & cpp (#4122)

The following was moved into plier.tf from moco/../convert.h & cpp
- two functions
- test case

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/tf] name attribute for transforms (#4121)

This will add name() attribute for existing Transforms

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] simplify get_data_layout (#4124)

This will simplify get_data_layout to call as_DataLayout as common part

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add "GoogleDoubleConversion" package (#4112)

* Add "GoogleDoubleConversion" package

This commit introduces "GoogleDoubleConversion" which allows users to
import system-wide Google DoubleConversion library in nncc style.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove tab

[exo/tflite] Use loco::output_nodes in exportOpDefinedTensors (#4118)

exportOpDefinedTensors currently uses its own implementation of
loco::output_nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] Fix BiasAdd test indent todo (#4120)

This will fix indentation of BiasAdd test from previous change

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Conv2D test support TFConv2D (#4083)

* [moco/tf] Conv2D test support TFConv2D

This will split Conv2D test to support TFConv2D by the knob

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* include knob

[moco/tf] Rename FusedBatchNorm Graph builder (#4119)

This will rename GraphBuilder for FusedBatchNorm with 'TF' prefix to match other GraphBuilders

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Add Canonicalization and Knob for TFBiasAdd (#4117)

* [moco/tf] Add Canonicalization and Knob for TFBiasAdd

This will Add Canonicalization class with TFBiassAdd node.
Add a Knob for canonicalization of TFBiasAdd to Canonical BiasAdd node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix note

[loco] Introduce FeatureBiasAdd node (#4110)

This commit introduces FeatureBiasAdd which adds a "bias" along
a FeatureMap's depth axis.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Import as TFBiasAdd by Knob (#4116)

This will add ImportAsTFBiasAdd knob and import as TFBiasAdd when turned on.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Move helper alias to TFNodeDecl header (#4115)

This will move helper alias from TFConv to TFNodeDecl header for common usage

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce TFBiasAdd (#4114)

This will introduce TFBiasAdd to import BiasAdd node as-is

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo/tflite] Extract Type/Shape Context (#4107)

SerializedModelData has multiple responsibilities as of now.

This commit extracts TypeContext (which manages node-to-type mapping)
and ShapeContext (which manages node-to-shape mapping) as the first step
to internal design revision.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add TF_SMALL_NET_0006 test (#4103)

* Add TF_SMALL_NET_0006 test

This test checkes what happens when "Concat" is in between two Feature operations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update comment

[moco/tf] Set Graph Input/Output Data Type (#4104)

From now on, moco::tf::Importer generates a loco graph with
valid Input/Output dtype values.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf2tflite] Refine how to add tests (#4105)

This commit refines tf2tflite test framework to use CMake's "include"
command instead of ListFile_Read function.

This change permits flexible test management. For example, now it is
possible to comment out some tests temporarily.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce TensorBiasAdd alias (#4102)

This change allows users to use a bit short "loco::TensorBiasAdd" instead
of "loco::BiasAdd<loco::Domain::Tensor>".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[mocotest/onnx] Generate test file only on change (#4106)

The current implementation always copies and generates test files. With
this commit, test files are copied and generated only when it is
necessary.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[TFtest] Add TF_SMALL_NET_0004 test (#4095)

* [TFtest] Add TF_SMALL_NET_0004 test

This commit adds TF_SMALL_NET_0004 test which sequentially performs
DepthwiseConv2d - FusedBatchNorm

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* unpack values

[loco] Add DataType attribute to Graph Input/Output (#4097)

This commit allows loco frontends to record the data type of graph-level
input/output in GraphInput/GraphOutput.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locomotiv] Introduce ReLU6 operation to locomotiv (#4096)

This commit introduce ReLU6 operation to locomotiv.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[mocotest/tf] Copy files only on change (#4094)

moco testframework now copies (and generates) test files only on change.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[TFtest] Add TF_SMALL_NET_0003 test (#4093)

This commit adds TF_SMALL_NET_0003 test which sequentially performs
Conv2d - FusedBatchNorm

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mocotest/tf] Use shared testcases (#4091)

mocotest-tf now uses shared TensorFlow tests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf2tflite] Use shared testcases (#4090)

This commit rewrites tf2tflite test framework to use shared testcases
and removes tf2tflite-local testcases.

tf2tflite test framework now manages whitelist internally.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[mocotest-tf] test case for custom op (#4078)

* [mocotest-tf] test case for custom op

This is the first testcase for custom op. code for moco/loco extension will be written to pass this test.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* move into new resource dir

[moco/tf] Implement ReorderDecode Transform (#4082)

* [moco/tf] Implement ReorderDecode Transform

This commit implements ReorderDecode transform which rewrites Decode ->
Op as Op -> Decode if possible.

The current implementation works only for ReLU.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Hoist loop-invariant code

* Update Graph example

[angkor] Add TensorIndex & TensorShape alias (#4085)

This commit introduces an alias of tensor::Index and tensor::Shape under
nncc::core::ADT namespace (to shorten client-side code).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf2tflite] Detect crashes during test (#4089)

* [tf2tflite] Detect crashes during test

The current test frameworks becomes green as long as i5diff succeeds,
and thus it cannot detect any crash in tf2tflite / nnkit-run.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove trap code

[moco/tf] Introduce TFConv2D IR (#4068)

* [moco/tf] Introduce TFConv2D IR

This will introduce TFConv2D TensorFlow dialect for Conv2D and related changes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use reference

* as type

Introduce ListFile CMake module (#4081)

This commit introduces ListFile CMake module which provides
ListFile_Read helper.

This helper makes it easy to create a list from text files.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce TensorFlowTests resource (#4080)

This commit introduces TensorFlowTests resource which includes all the
tests in moco-tf and tf2tflite.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Branch Conv2D graph builder for TFDialect (#4079)

* [moco/tf] Branch Conv2D graph builder for TFDialect

This will prepare Conv2D graph builder with a knob to generate TFConvD node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use throw

[moco_tf] tensor_shape setter in ShapeInferenceData (#4084)

This will add tensor_shape setter in ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Add more methods in Convert (#4070)

* [moco/tf] Add more methods in Convert

This will add more methods in Convert for import

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use ASSERT_EQ

[loco] ReLU6 node (#4077)

This commit introduce ReLU6 node to loco.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[mocotest/tf] Use TEST_REPO & TEST_SPACE variables (#4074)

This commit updates mocotest-tf's CMakeLists.txt to use TEST_REPO &
TEST_SPACE variables instead of CMAKE_CURRENT_SOURCE_DIR &
CMAKE_CURRENT_BINARY_DIR.

This change gives some flexibility on test directory layout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Run TFOptimizier and Canonicalizer (#4073)

This will make frontend to run TFOptimizier and Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Knob for ResolveFusedBatchNorm (#4075)

This will add a knob for ResolveFusedBatchNorm transform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[plier/tf] copy_shape() function (#4066)

* [plier/tf] copy_shape() function

This adds copy_shape() function that copies tensorflow shape proto to angkor shape.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* comment

[tf2tflite] Use exo-tflite instead of loco-exporter (#4071)

This commit revises tf2tflite to use exo-tflite instead of
loco-exporter. This change resolves conflicts when loco-exporter
evolves into a in-house package exporter.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locomotiv] Add Reshape operation (#4033)

* [locomotiv] Add Reshape operation

This commit introduce Reshape operation to locomotiv.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* This commit modify code according to comments.

Introduce exo-tflite (#4050)

* Introduce exo-tflite

This commit introduces exo-tflite project. All the code itself originates
from loco-exporter, but have small style changes.

This "exo-tflite", unlike loco-exporter, will not evolve into an exporter for
in-house package.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix ifdef guard

[moco/tf] Introduce Canonicalizer (#4045)

* [moco/tf] Introduce Canonicalizer

This will introduce Canonicalizer for transforming TFNodes to CanonicalNodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove test

[tf2tflite] Rename testcases (#4064)

This commit renames the tests that have a name conflict with moco-tf.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Support FeatureCodec clone (#4062)

This commit introduce "clone" API to FeatureEncoder/Decoder interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce NNCC_EXTERNALS_DIR configuration (#4065)

This commit allows users to download external dependencies
into their own location via setting NNCC_EXTERNALS_DIR.

Note that the default behavior is same as before.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[plier/tf] Introducing plier/tf (#4056)

* [plier/tf] Introducing plier/tf

This commit introduce `plier/tf`, which is a set of small tools to handle Tensorflow model. These are currently copied from `moco/../Convert.h and cpp` and `moco/../TestHelper.h and cpp`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* typo

* remove loco

[moco/tf] Introduce TFMul IR (#4061)

This will add TFMul IR and related codes to support TensorFlow Mul node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Add transforms for TFAdd (#4060)

This will add missing TFAdd related transforms

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Import FusedBatchNorm (#4053)

* [moco/tf] Import FusedBatchNorm

This will add import of FusedBatchNorm to TFFusedBatchNorm IR

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add required transformation handlers

[moco/tf] Test for TFFusdBatchNorm (#4052)

This will add ctor unit test of TFFusedBatchNorm

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce TFAdd IR (#4051)

* [moco/tf] Introduce TFAdd IR

This will introduce TensorFlow dialect Add IR
- this will be used as intermediate node while resolving FusedBatchNorm node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

* another comment

* privode GraphDef example

Update README.modified (#4048)

- Add `Mainterners` and `Committers` list to following the rule of Samsung
Inner Source Program.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[tf2tflite] Add TF_SMALL_NET_0001 test (#4047)

This commit adds TF_SMALL_NET_0001 test which sequentially performs
Conv2D-BiasAdd-Conv2D operations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Introduce TFOptimizier (#4049)

This will introduce TFOptimizier to provide transformations with TensorFlow Dialects

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Add ImportAsTFConv2D knob (#4044)

This will add ImportAsTFConv2D in knob to switch Conv2D import as Canonical or TensorFlow Conv2D

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add TensorFlow 1.14 source package (#4043)

This commit introduces TensorFlow v1.1.4 source package which allows
each sub-project to access T/F 1.14 source during build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[mocotest/tf] FusedBatchNorm_001 (#4042)

This will add FusedBatchNorm_001 test material having values for calculation validation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mocotest/tf] FusedBatchNorm_000 (#4041)

This will add FusedBatchNorm_000 test material for minimul testing for FusedBatchNorm node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce Domain Conversion Simplification (#4037)

This commit introduces Domain Conversion Simplification optimizations
which convertes FeatureDecode followed by FeatureEncode as Forward.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Move Transform.h to the top-level (#4038)

This change makes it easy to distinguish Transform declaration (Transform.h) and
enumerate its implementations (all the files under Transforms/).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Introduce TFFusedBatchNorm IR (#4039)

This will introduce TFFusedBatchNorm to import TensorFlow FusedBatchNorm node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Add TFNode visitor (#4036)

* [moco/tf] Add TFNode visitor

This will add visitor related methods in TFNode

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comments

[moco/tf] Implement Dead Node Elimination (#4032)

Now, moco.tf compilation pipiline support Dead Node Elimination. Note that
this optimization is off by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Introduce TFNode for TensorFlow dialect (#4029)

This will introduce TFNode and TFNodeImpl for Tensorflow dialect

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Introduce active_nodes helper (#4014)

This commit introduces active_nodes helpers which returns all the
predecessor of a given set of nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Rename macro as CANONICAL_NODE (#4025)

* [moco/tf] Rename macro as CANONICAL_NODE

This will rename existing MOCONODE to CANONICAL_NODE as they are actually treating loco canonical nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use canonical

[moco/tf] Introduce TFOpcode (#4028)

This will introduce TFOpcode for TensorFlow dialect

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Implement forward node elimination (#4027)

This commit implements forward node elimination as a part of moco.tf
compilation pipeline.

Note that this transform is off by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] Import to Importer (#4019)

* [moco/tf] Import to Importer

This will rename Import class to Importer
- abd method load() to `import`

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix header

[moco_tf] Introduce TFDialect (#4020)

* [moco_tf] Introduce TFDialect

This will introduce TFDialect inherited from loco::Dialect to provide IRs for TensorFlow dialect.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename to TFDialect
* fix typo
* fix rename

[moco/tf] Use TensorFlow (#4026)

This will fix comments using Tensorflow to TensorFlow

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mocotest] Test for Mul (#4024)

This will introduce test for Mul node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mocotest] Test for Add (#4023)

This will introduce Test for Add Node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Pass test configurations via .config file (#4017)

* [tf2tflite] Pass test configurationss via .config file

Now, "testall" script takes test configurations via .config
file, which makes it easy to re-invoke tests from command-line.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update comment to reflect the actual implementation

Add CONTRIBTUTORS list (#4021)

- Add contributor list, as is.
- Generated by `git shortlog -se | cut -f2` with `.mailmap` file.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[moco.tf] Introduce Optimizer (#4013)

This commit introduces Optimizer class and updates Frontend to invoke
this optimization after import.

This Optimizer will performs dedicated transforms on imported graphs,
but the current implementation serves just as a placeholder and has
no transforms yet.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] modify struct to class (#4016)

This commit modify struct to class in Nodes.h for unity

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[tf2tflite] Add TF_SMALL_NET_0000 test (#4012)

This commit adds TF_SMALL_NET_0000 test which includes a simple network
consists of Conv2D and MaxPool.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Check references on node destruction (#4010)

This commit adds an assert to check references in Node destructor in
order to detect dangling references as early as possible.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf2tflite] Support logging (#4009)

Now, users are able to enable tf2tflite logging by setting TF2TFLITE_Log
environment variable as a non-zero value.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Support node destruction (#4006)

Some optimizations (e.g. dead node elimination) needs node destruction, but
it is currently impossible to destroy nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco.tf] Extract Phase infrastructure (#4008)

This commit extracts "transform" loop in Import as reusable Phase
class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce CanonicalNodeDecl.h (#4007)

The current implementation requires users to include CanonicalNodeImpl.h
additionally.

To eliminate such burden, this commit introduces CanonicalNodeDecl.h and
revises CanonicalNode.h to includes both decl/impl headers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce Node.opnum API (#4004)

This opnum API allows us to check the type of nodes without using
dynamic_cast.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Support TensorConcat (#4001)

TensorConcat now has its own pretty printer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] How to convert TensorFlow Const (#4002)

Conversion.md now explains how to convert T/F Const node (which
tf.constant API internally generates) into loco.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Require Node to implement dialect method (#3999)

* [loco] Require Node to implement dialect method

The current design provides a default implementation. This commit
removes this default implementation of dialect method and requires each
node to implement it.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Return const Dialect *

[hermes/std] Introduce EnvConfig (#4000)

This commit introduces a reusable EnvConfig implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] Introduce common import in Frontend (#3992)

* [moco_tf] Introduce common import in Frontend

This will introduce private import method in Frontend as common of load

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* include header

Extract nnkit-misc from nnkit (#3996)

Let's extract nnkit-misc that implements various helpers for writing
nnkit extensions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Revisit tests as Import (#3991)

This will revisit unit tests as Import and do Import testing

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] convert pb bool attribute to C++ bool (#3995)

This commit adds get_bool_attr(..) to access tensorflow bool attr

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco.log] Reflect hermes design change (#3994)

This commit updates moco.log implementations according to the recent
hermes design update.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Extract nnkit-onnxrt from nnkit (#3989)

Let's allow each module to depend on nnkit-onnxrt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>