[tfldump] Empty tflite Model dump (#2466)

This will introduce empty tflite::Model dump as a place holder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] MeanSoftBackend (#2367)

This adds Support for reduction with Mean to C++ soft backend.
The implementation is a reference one from TFLite.

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Support non-unit batch in deconv (#2471)

Added support of Batch dimension in Deconv operation
* shape inference
* interpreter
* c++ softBackend

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Fix pool operation round mode (#2470)

* Add round mode to Pool operations for each framework
* Fix output shape for pooling operation
* Fix strides on Pool op shape inference

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Implementation of Transpose operation (#2464)

* Add `Transpose` operation to ModelIR;
* Support `Transpose` operation in interpreter and soft backend.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tfldump] Load tflite file (#2465)

This will add tflite loader part of tfldump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfldump] Add tflite schema flatbuffers (#2445)

* [tfldump] Add tflite schema flatbuffers

This will add tflite schema and flatbuffers converter to generate the header
Empty Model.h is added to check the build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* cmake changes

* rename files

* another rename

[nnc] Set operations names based on layer names in Caffe importer (#2463)

Refactor Caffe importer to set Operation names based on layer names (previously names were set based on output blob names).

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Support batch axis in acl backend (#2462)

- Support batch axis
- Add more checks on supported data formats
- Add assert in transposeShape and related fixes

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Utility to generate input tensors (#2143)

Implemented utility that generates input data in the hdf5 format.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc][utils] TFLIte model generator. Add operations. (#2383)

Add support of generating nodes with several random
inputs which are consistent by tensor's shape.

Add operations:
 - DepthwiseConv2D
 - MaxPool/AvgPool
 - Softmax
 - fullyConnected

Signed-off-by: i-kulagin <i.kulagin@samsung.com>

[nnc] Remove redundant CLCopy layer from inference sequence (#2449)

Remove buggy CLCopy layer from inference, since it is not needed, and corrupts data

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Support asimmetrical paddings in tflite models in ACL backend (#2447)

Inference asimmetrical paddings for "Same" padding type on acl backend

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix special case of bias layer after fc layer in ACL backend (#2448)

Handle shape of bias weights with respect to previous operation.
Need to use different shape for operations after fully connected layer,
because it restores batch dimension in output tensor

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix importer test (#2457)

Fixed exit code in importer test, added a version check so that the test
is not run on older TF

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Support Pad operation on soft backend (#2364)

* Add serialization on softbackend
* Add deserialization on softbackend
* Add cpp_pad snippet

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[enco/tfl] Validate stride (#2455)

This commit introduces basic tfl model validation infrastructure to tfl
frontend.

The current implementation supports 'stride' validation for the following
operations:
 - Conv2D
 - DepthwiseConv2D
 - MaxPool2D
 - AveragePool2D

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[encodump] Fix a bug not generating comma (#2421)

Now generating comma separated list output for size more than 1.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tflchef] Store op codes only once (#2401)

* [tflchef] Store op codes only once

This will change tflchef to store operator codes only once in the table

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[nnc] Perform shape inference at construction time (#2399)

* Move shape inference functionality from separate class to constructors of individual operations;
* First dimension of input is no longer removed by the importers;
* Adjust ModelIR, soft backend and interpreter to correctly work with non-stripped first dimension;
* Minor coding style fixes and comments.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Added reducemean to modelir (#2234)

- Added ReduceMean to ModelIR (Mean in tflite, not present in caffe)
The functionality allows one to support other reduction operations
rather effortlessly (in interpreter).

- Added tests for shape Inference.

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] ConstantOp, shape inference, model analyze, serialize, first artifact initial versions were implemented. (#2394)

New ConstantOp was added: at the moment it's used for input constant tensors like weights, etc.
Shape inference, model analyzing, etc, are working enough to be able to create the first artifact.

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[nnc] Make Mobile and Inception-v3 working (#2416)

These commit starts a sequence of commits introducing the debugged version of the ACL backend operations used in the Mobilenet and Inception-v3 networks.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[tfldump] Tool to dump TFlite file (#2444)

This will introduce empty project for tfldump tool to dump TFlite file to console in text form.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] Creation of context ob outside of loop (#2442)

This commit moves creation of context ob outside of loop.
(putting creation code inside loop creates same object over and over)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco] Support constant folding (#2441)

This commit introduces constant folding pass into the enco compilation
pipeline.

Note that the current implementation supports folding over "copy"
instruction only.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Properly insert setOperandValue calls (#2439)

With the current implementation, it is possible that some setOperandValue
calls are missing during ANN IR construction.

With this commit, enco now inserts setOperandValue call for every operand
with constant weight.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Add Resize Nearest Neighbor (#2315)

Added Resize Nearest Neighbor to tflite importer and interpreter.
Added shape inference tests some cases.

The op allows adding more resize types by just adding new values to the enum and backends.
The corresponding Op in ONNX is Upsample and it can be supported without modifications

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

Add Test Round 2.1 in System Test Document (#2329)

* added tests for Tizen and SmartMachine OS

Signed-off-by: Roman Rusyaev <r.rusyaev@samsung.com>

[nnc] Remove redundant interpreter options (#2425)

- Remove cli options for input/output node, which are used only in interpreter
- fix code style in interpreter_pass.cpp

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[enco/tfl/frontend] change names : `conv..` to `dconv...` (#2431)

By refactoring, names with `conv...` was changed to `dconv...`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco/tfl/frontend] test for DepthwiseConv2D for mobilenet (#2428)

Test case for IFM width = 2 * OFM width, IFM height = 2 * OFM height, SAME padding, stride 2

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco/tfl/frontend] DepthwiseConv2D (same padding, ifm h=ofm h, ifm w=ofm w) (#2391)

* [enco/tfl/frontend] DepthwiseConv2D

DepthwiseConv2D for enco tflite frontend. Tested with stride=[1,1]

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: enter

* pr fix: removed swap, renaming some value, added asserts

* pr fix: Replaced "comment" with "#"

* pr fix: Fix unefficient declaration of new_shape

[enco] Delegate Concat to NN runtime (#2426)

With this commit, enco backend delegates ConcatF to NN runtime
instead of lowering it as a sequence of Shuffle.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tflchef] Replace test files with cmake file GLOB (#2380)

This will replace individual test list preparation with file GLOB

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef/rev] support quantization (#2402)

* [tflchef/rev] support quantization

This will enable reading quantization from tflite and store to tflchef

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove space

* add note

* fix typo

* remove invalid '> 0'

[tflchef] Support quantization parameters (#2379)

* [tflchef] Support quantization parameters

This commit will introduce quantization parameters and add related tests

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* modify convention and data

[tflchef/rev] Write reshape explicit values (#2418)

This will change tflchef-reverse to provide explicit values of shape information for the operand used by reshape operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] Padding when top == bottom -1 or left = right-1 (#2411)

* [enco/tfl/frontend] Padding when top == bottom -1 or left = right-1

get_padding() now calculates padding when top == bottom -1 or left = right-1

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: calculate -> compute, ifm -> in_size

[enco] Do NOT reduce identical objects with side effect (#2419)

* [enco] Do NOT reduce identical objects with side effect

Update on one object may have a side effect through its backing bag. So,
reduction in identical objects with side effect results in incorrect
compilation artifact.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update the examples in the comment

[tflchef] Remove "comment" attribute (#2412)

"comment" is removed since "#" is comment in protobuffer schema.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Download pytorch sources on cmake stage (#2288)

Download pytorch sources on cmake stage

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[enco] Replaced "comment" to "#" in tfl test recipes (#2403)

By this commit, "comment" field in tfl test recipes was replaced to "#"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflchef] Support explicit initialization over INT32 tensors (#2408)

* [tflchef] Support explicit initialization over INT32 tensors

This commit introduces 'explicit' filler which allows users to
explicitly specifies the values of operands.

Currently, 'explicit' filler is available for INT32 types.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use -1 as a new_shape parameter

[encodump] Prints address of coco::op or coco::instr (#2396)

Previously, running encodump to print Copy prints addr of coco::Producer. Now prints coco::Instr. This applied to many ops and insts.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[encodump] Added ReLU6 (#2395)

Withi this commit, encodump prints information about Relu6.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Implement elementwise div operation (#2363)

Added support of div elementwise:
- in tflite importer
- in interpreter
- in soft backend using Eigen

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Add support for freestanding activation functions in tflite importer  (#2385)

While tflite have fused activation functions, some networks use activation functions as separate operations

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[tflchef/reverse] Enable INT32 type (#2393)

This will enable tflchef-reverse to handle INT32 type
- Needed to handle Reshape operator from MobileNet

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Update depthwiseconv2d recipe (use relu6 activation) (#2322)

depthwiseconv2d recipe will use relu6 activation.
- Mobilenet uses relu6 activation.
- It could be used as a test for relu6 activation.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[tflchef] Support int32 tensortype (#2388)

This will fix to support int32 tensortype with introducing as_tflite_tensortype()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] enable ReLU6 conversion (#2381)

This will enable ReLU6 in as_tflchef_activation()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/frontend] Empty DepthwiseConv2D (#2387)

This will add placeholder for DepthwiseConv2D in frontend
- to check loading mobilenet slim model

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] ReLU6 Activation Layer (#2359)

* [enco/tfl/frontend] ReLU6 Activation Layer

This commit is for ReLU6 Activation Layer.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Pr fix: add code to op/Activation.cpp

[nnc] Support Pad operation on TFLite Importer and Interpreter (#2330)

* Support Pad op in TFLite imported and interpreter

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@partner.samsung.com>

[tflchef] Add DepthwiseConv2D for reverse (#2373)

This will add DepthwiseConv2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Conv2D for reverse (#2375)

* [tflchef] Add Conv2D for reverse

This will add Conv2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add comment

[tflchef] Add MaxPool2D for reverse (#2376)

This will add MaxPool2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add ReLU6 for reverse (#2374)

This will add ReLU6 Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add ReLU for reverse (#2377)

This will add ReLU Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Concat for reverse (#2370)

This will add Concatenation Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Reshape for reverse (#2371)

This will add Reshape Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Splitting Frontend.cpp into Op/*.cpp and more (#2362)

* [enco] Splitting Frontend.cpp into Op/*.cpp and more

Through this commit, Frontend.cpp will be refactored into several files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: remove useless "tflite::"

* pr fix: Split h file into h and cpp file

* pr fix: remove wrong test files

[tflchef] Fix FlatBufferIntArrayToVector (#2369)

* [tflchef] Fix FlatBufferIntArrayToVector

This will rename FlatBufferIntArrayToVector to as_index_vector like enco/frontend and correct type of caller
- incorrect type may cause a problem in reading minus values in shape info

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix to typename

[tflchef] Prepare adding Ops with AveragePool2D (#2368)

This will add AveragePool2D operator handler and needed changes to test.
Also place holders for other operators to prevent merge conflict.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] generate_recipe for each operators (#2361)

This will fill handlers for each operators
- forward filler settings for the operator
- tflchef operator build and I/O settings for corresponding tflite operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] Fix deconv unittest build (#2366)

Fix deconv unit test build and adjust float epsilon

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc][utils][model_generator] Add converter from tree to tflite. (#2230)

Implemented converter from randomly generated Tree representation to TFLite model.

Signed-off-by: i-kulagin i.kulagin@samsung.com

[nnc] Initial support of various operations in ONNX frontend (#2286)

Operations supported in ONNX importer:
- Conv2d
- BatchNorm
- Pool
- scale
- dropout
- Elementwise operations (add, sum, mul, max)
- Gemm

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[nnc] Conv transpose in SoftBackend (#2290)

Implements Deconvolution in Soft Backend, caffe style transfer model is fully supported.

Signed-off-by: Andrei Shedko a.shedko@partner.samsung.com

[nnc] Add `shape` parameter to constructors of operations that cannot infer shapes of their outputs (#2338)

* Add `shape` parameter to constructor of `VariableOp`;
* Add `shape` parameter to constructor of `ReshapeOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tflchef] Implement generate_recipe (#2360)

* [tflchef] Implement generate_recipe

This implements partial of generate_recipe() for operators, operands and inputs,outputs.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unused

* reorder a line

* fix typo

* need check quantization

* fix typo

[tflchef] Introduce TFliteOpChef and Registry (#2357)

This will introduce TFliteOpChef base class for Operator handlers for translation and
TFliteOpRegistry for registeration of handlers.
All headers are included in RecipeChef to check compilation and as it will be used later codes.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Adds "comment" into recipe (#2356)

Now, recipe file can have "comment" field, which is ignored by tflchef.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflchef] Introduce TFliteImport (#2355)

* [tflchef] Introduce TFliteImport

This will introduce TFliteImport class that provides needed information from tflite::Model to build recipe

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add brief

[enco/tfl/frontend] Modified wrong test number (#2354)

Conv_003 exists without Conv_002. So Conv_003 is renamed to Conv_002.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflchef] Introduce convert helpers (#2351)

This will introduce helper functions to convert tflite types to tflchef types

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Store ModelRecipe to file (#2352)

This will implement storing ModelRecipe to a file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] Bug fix on padding (#2353)

IFM is NHWC format but the padding code was written assuming that IFM is NCHW.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco/tfl/frontend] Refactoring RELU activation (#2313)

* [enco/tfl/frontend] Refactoring RELU activation

RELU activation is commonly used by many operations. So this activation is extracted as a separate method.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* returning ifm

* ofm as param

* remove empty line

* pr fix: remove output param

* pr fix : comment, renaming vars, etc.

[tflchef] Call tflchef from Driver (#2350)

This will make Driver call tflchef tflite load and save functions

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] RawModel loader (#2347)

This will introduce TFlite raw model loader
- copied from enco/frontend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Introduce entry points for tflchef-reverse (#2345)

* [tflchef] Introduce entry points for tflchef-reverse

This will introduce two empty functions for tflchef-reverse tool
- CMakeLists.txt file to build a library
- This library will read TF lite file and drop tflchef recipe file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* change header ifdef name

[tflchef] Introduce reverse tool driver (#2346)

[tflchef] Introduce reverse tool driver

[nnc] fix static analysis warning and add missed break (#2287)

- Add assert, which protects us from passing a null pointer to a function.
- Add break statement into switch in tflite_importer.

Signed-off-by: Pavel <p.fattakhov@partner.samsung.com>

[tflchef] Add Conv2D test recipe (#2340)

This will add Conv2D test recipe for tflchef.
- there was existing readme to show readme example works but there was no conv2d test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] Make constructors of `Operations` accept other `Operation`s as arguments (#2292)

* Make constructors of `Operations` accept `Operation`s they depend on.
* Remove `connectInput` method, which became redundant.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] split model runner script into 4 scripts (#2285)

split model runner script into 4 scripts

Signed-off-by: Pavel <p.fattakhov@partner.samsung.com>

[enco] Fix typo (#2334)

This will fix typo in OwnedFileDescriptor comment

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add ReLU6 in activation (#2312)

This commit will add ReLU6 in activation

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[enco] Remove unused variable (#2311)

This commit will remove unused varuable

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[nnkit] Link backend_support library with dl (#2310)

Backend support library uses dlopen internally, but is not linked with
dl currently.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Set subnet output correctly on branching (#2309)

The current implementation specifies a bag as a subnet output if the subnet
accesses it and this bag is accessed outside of this subnet.

It turns out that this algorithm may specify a network input as a subnet output
as it does not consider this bag is updated by this subnet.

This commit fixes this bug and adds a related test.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tflchef] Use safemain (#2305)

Now, tflchef and tflchef-file uses the main function that safemain
provides.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Implemented caffe2 importer interface (#2233)

* Implemented caffe2 importer interface
* Minor fixes in driver sanity checks
* Inited caffe2 model dumper

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Remove redundant code (#2314)

Remove redundant code from c++ snippet that prevents artifact build

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Replace layout of operations in cpu backend (#2258)

Order of operations in artifact is changed to RPO to optimize usage of memory caches

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Tfl importer eltwise (#2208)

Added elementwise operations, Tanh and Transposed Conv to tfLite importer

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[coco] Deprecate FeatureObject create with Shape (#2302)

This commit removes create method that takes a FeatureShape from
ObjectManager class and revises related tests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco/frontend] Relu activation layer for Conv2D (#2306)

* [enco/frontend] Relu activation layer for Conv2D

This commit adds Relu activation layer for Conv2D and test.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Check NONE for actuvation