[enco] Reduce Identical Objects with free instructions (#2505)

The current implementation of Reduce Identical Objects pass does not
work correctly in the presence of free instructions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Fix reduceOp reduction dimensions handling (#2494)

- fix shape inference
- fix interpreter index computation

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Support for asymmetric strides in Pool, Conv2D, DepthwiseConv2D operations (#2460)

* Add support for asymmetric strides to Pool, Conv2D, DepthwiseConv2D operations;
* Refactor convolution and pooling parameter computation in Caffe importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Replace zero-dim tensors with tensor of shape {1} (#2513)

Fixes multiple issues involving zero-dimension tensors. Includes Bias, Scale, Reduce and Elementwise operations

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Use Transpose operation in Caffe importer (#2468)

Use Transpose operation in Caffe importer to switch between Caffe NCHW and ModelIR NHWC formats.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tfldump] Prepare dump Operator options (#2503)

This will add DumpOpRegistry and DumpOp to dump Operator options(properties)

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfldump] fix clang warning (#2507)

This will fix clang compile warning with '-Wlogical-op-parentheses'

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfldump] fix int to int32_t (#2509)

This will fix type int to int32_t to distinghish exact type

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Use "destroy_all" in coco (#2501)

The current implementation of Free Op Elimination pass uses its own
destroy function, but OpManager now provides "destroy_all" method which
has exactly same functionality.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] Dump operators (#2497)

* [tfldump] Dump operators

This will add part to Dump Operators and related functions

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use int32_t

[enco] Introduce extended coco IR (#2496)

This commit introduces a placeholder for extended coco IR entities. The
current implementation includes only one extended instruction (ANNDepthConcatF).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce OpManager::destroy_all (#2498)

With this commit, OpManager now allows users to destroy a Op tree via
destroy_all method.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] dump operand quantization (#2495)

* [tfldump] dump operand quantization

This will add dump to dump operand quantization information.
For this, add dump of flatbuffers::Vector type.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unused

[enco/tfl] Introduce Regression_0002 testcase (#2492)

This commit introduces Regression_0002 case which tests the
correctness of dead code elimination optimizations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Free Op Elimination (#2491)

* [enco] Free Op Elimination

This commit introduces Free Op Elimination pass (and a related test) to
enco pipeline.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use consistent testcase name

[coco] Introduce root helper (#2489)

This commit introduces root helper which allows users to easily access the
root Op for a given Op.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] Dump operands(tensors) (#2486)

This will add operands and it's properties
- tensors live in subgraph, subgraph selector is also introduced

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[coco] Generalize isa<T> and safe_cast<T> (#2490)

With this commit, isa<T> and safe_cast<T> correctly works even in the
presence of "unknown" derived classes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Free Instr Elimination (#2487)

This commit implements Free Instr Elimination pass (and a related test) in enco backend.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove cast<T> helper (#2482)

It is impossible to implement general cast<T> helper under open Instr
class hierarchy.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[stdex] Introduce Queue.h (#2484)

This commit introduces Queue.h which will hold various utilities for
std::queue<T>.

The current implementation includes only one helper: 'take'.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] Dump buffers (#2480)

This will add dump buffers to Dump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[coco] Remove Instr mutator interface (#2476)

This mutator interface was introduced when Instr has closed hierarchy,
and thus it is no longer valid as Instr now support open hierarchy.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] Add Reader with OpCode reader (#2475)

* [tfldump] Add Reader with OpCode reader

This will introduce Reader class that holds OpCodes
Dump will dump operator codes that are used in the Model

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* opcode_name as a function

* move TFliteSubGraphs_t inside class

* show number legend

* add some more

[coco] Support Custom Instr Construction via InstrManager (#2474)

With this commit, users are able to construct a custom instr object
through InstrManager.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tfldump] Empty tflite Model dump (#2466)

This will introduce empty tflite::Model dump as a place holder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] MeanSoftBackend (#2367)

This adds Support for reduction with Mean to C++ soft backend.
The implementation is a reference one from TFLite.

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Support non-unit batch in deconv (#2471)

Added support of Batch dimension in Deconv operation
* shape inference
* interpreter
* c++ softBackend

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Fix pool operation round mode (#2470)

* Add round mode to Pool operations for each framework
* Fix output shape for pooling operation
* Fix strides on Pool op shape inference

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Implementation of Transpose operation (#2464)

* Add `Transpose` operation to ModelIR;
* Support `Transpose` operation in interpreter and soft backend.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tfldump] Load tflite file (#2465)

This will add tflite loader part of tfldump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfldump] Add tflite schema flatbuffers (#2445)

* [tfldump] Add tflite schema flatbuffers

This will add tflite schema and flatbuffers converter to generate the header
Empty Model.h is added to check the build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* cmake changes

* rename files

* another rename

[nnc] Set operations names based on layer names in Caffe importer (#2463)

Refactor Caffe importer to set Operation names based on layer names (previously names were set based on output blob names).

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Support batch axis in acl backend (#2462)

- Support batch axis
- Add more checks on supported data formats
- Add assert in transposeShape and related fixes

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Utility to generate input tensors (#2143)

Implemented utility that generates input data in the hdf5 format.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc][utils] TFLIte model generator. Add operations. (#2383)

Add support of generating nodes with several random
inputs which are consistent by tensor's shape.

Add operations:
 - DepthwiseConv2D
 - MaxPool/AvgPool
 - Softmax
 - fullyConnected

Signed-off-by: i-kulagin <i.kulagin@samsung.com>

[nnc] Remove redundant CLCopy layer from inference sequence (#2449)

Remove buggy CLCopy layer from inference, since it is not needed, and corrupts data

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Support asimmetrical paddings in tflite models in ACL backend (#2447)

Inference asimmetrical paddings for "Same" padding type on acl backend

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix special case of bias layer after fc layer in ACL backend (#2448)

Handle shape of bias weights with respect to previous operation.
Need to use different shape for operations after fully connected layer,
because it restores batch dimension in output tensor

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix importer test (#2457)

Fixed exit code in importer test, added a version check so that the test
is not run on older TF

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Support Pad operation on soft backend (#2364)

* Add serialization on softbackend
* Add deserialization on softbackend
* Add cpp_pad snippet

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[enco/tfl] Validate stride (#2455)

This commit introduces basic tfl model validation infrastructure to tfl
frontend.

The current implementation supports 'stride' validation for the following
operations:
 - Conv2D
 - DepthwiseConv2D
 - MaxPool2D
 - AveragePool2D

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[encodump] Fix a bug not generating comma (#2421)

Now generating comma separated list output for size more than 1.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tflchef] Store op codes only once (#2401)

* [tflchef] Store op codes only once

This will change tflchef to store operator codes only once in the table

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[nnc] Perform shape inference at construction time (#2399)

* Move shape inference functionality from separate class to constructors of individual operations;
* First dimension of input is no longer removed by the importers;
* Adjust ModelIR, soft backend and interpreter to correctly work with non-stripped first dimension;
* Minor coding style fixes and comments.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Added reducemean to modelir (#2234)

- Added ReduceMean to ModelIR (Mean in tflite, not present in caffe)
The functionality allows one to support other reduction operations
rather effortlessly (in interpreter).

- Added tests for shape Inference.

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] ConstantOp, shape inference, model analyze, serialize, first artifact initial versions were implemented. (#2394)

New ConstantOp was added: at the moment it's used for input constant tensors like weights, etc.
Shape inference, model analyzing, etc, are working enough to be able to create the first artifact.

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[nnc] Make Mobile and Inception-v3 working (#2416)

These commit starts a sequence of commits introducing the debugged version of the ACL backend operations used in the Mobilenet and Inception-v3 networks.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[tfldump] Tool to dump TFlite file (#2444)

This will introduce empty project for tfldump tool to dump TFlite file to console in text form.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] Creation of context ob outside of loop (#2442)

This commit moves creation of context ob outside of loop.
(putting creation code inside loop creates same object over and over)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco] Support constant folding (#2441)

This commit introduces constant folding pass into the enco compilation
pipeline.

Note that the current implementation supports folding over "copy"
instruction only.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Properly insert setOperandValue calls (#2439)

With the current implementation, it is possible that some setOperandValue
calls are missing during ANN IR construction.

With this commit, enco now inserts setOperandValue call for every operand
with constant weight.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Add Resize Nearest Neighbor (#2315)

Added Resize Nearest Neighbor to tflite importer and interpreter.
Added shape inference tests some cases.

The op allows adding more resize types by just adding new values to the enum and backends.
The corresponding Op in ONNX is Upsample and it can be supported without modifications

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

Add Test Round 2.1 in System Test Document (#2329)

* added tests for Tizen and SmartMachine OS

Signed-off-by: Roman Rusyaev <r.rusyaev@samsung.com>

[nnc] Remove redundant interpreter options (#2425)

- Remove cli options for input/output node, which are used only in interpreter
- fix code style in interpreter_pass.cpp

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[enco/tfl/frontend] change names : `conv..` to `dconv...` (#2431)

By refactoring, names with `conv...` was changed to `dconv...`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco/tfl/frontend] test for DepthwiseConv2D for mobilenet (#2428)

Test case for IFM width = 2 * OFM width, IFM height = 2 * OFM height, SAME padding, stride 2

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[enco/tfl/frontend] DepthwiseConv2D (same padding, ifm h=ofm h, ifm w=ofm w) (#2391)

* [enco/tfl/frontend] DepthwiseConv2D

DepthwiseConv2D for enco tflite frontend. Tested with stride=[1,1]

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: enter

* pr fix: removed swap, renaming some value, added asserts

* pr fix: Replaced "comment" with "#"

* pr fix: Fix unefficient declaration of new_shape

[enco] Delegate Concat to NN runtime (#2426)

With this commit, enco backend delegates ConcatF to NN runtime
instead of lowering it as a sequence of Shuffle.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tflchef] Replace test files with cmake file GLOB (#2380)

This will replace individual test list preparation with file GLOB

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef/rev] support quantization (#2402)

* [tflchef/rev] support quantization

This will enable reading quantization from tflite and store to tflchef

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove space

* add note

* fix typo

* remove invalid '> 0'

[tflchef] Support quantization parameters (#2379)

* [tflchef] Support quantization parameters

This commit will introduce quantization parameters and add related tests

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* modify convention and data

[tflchef/rev] Write reshape explicit values (#2418)

This will change tflchef-reverse to provide explicit values of shape information for the operand used by reshape operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] Padding when top == bottom -1 or left = right-1 (#2411)

* [enco/tfl/frontend] Padding when top == bottom -1 or left = right-1

get_padding() now calculates padding when top == bottom -1 or left = right-1

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: calculate -> compute, ifm -> in_size

[enco] Do NOT reduce identical objects with side effect (#2419)

* [enco] Do NOT reduce identical objects with side effect

Update on one object may have a side effect through its backing bag. So,
reduction in identical objects with side effect results in incorrect
compilation artifact.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update the examples in the comment

[tflchef] Remove "comment" attribute (#2412)

"comment" is removed since "#" is comment in protobuffer schema.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Download pytorch sources on cmake stage (#2288)

Download pytorch sources on cmake stage

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[enco] Replaced "comment" to "#" in tfl test recipes (#2403)

By this commit, "comment" field in tfl test recipes was replaced to "#"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflchef] Support explicit initialization over INT32 tensors (#2408)

* [tflchef] Support explicit initialization over INT32 tensors

This commit introduces 'explicit' filler which allows users to
explicitly specifies the values of operands.

Currently, 'explicit' filler is available for INT32 types.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use -1 as a new_shape parameter

[encodump] Prints address of coco::op or coco::instr (#2396)

Previously, running encodump to print Copy prints addr of coco::Producer. Now prints coco::Instr. This applied to many ops and insts.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[encodump] Added ReLU6 (#2395)

Withi this commit, encodump prints information about Relu6.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Implement elementwise div operation (#2363)

Added support of div elementwise:
- in tflite importer
- in interpreter
- in soft backend using Eigen

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Add support for freestanding activation functions in tflite importer  (#2385)

While tflite have fused activation functions, some networks use activation functions as separate operations

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[tflchef/reverse] Enable INT32 type (#2393)

This will enable tflchef-reverse to handle INT32 type
- Needed to handle Reshape operator from MobileNet

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Update depthwiseconv2d recipe (use relu6 activation) (#2322)

depthwiseconv2d recipe will use relu6 activation.
- Mobilenet uses relu6 activation.
- It could be used as a test for relu6 activation.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[tflchef] Support int32 tensortype (#2388)

This will fix to support int32 tensortype with introducing as_tflite_tensortype()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] enable ReLU6 conversion (#2381)

This will enable ReLU6 in as_tflchef_activation()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/frontend] Empty DepthwiseConv2D (#2387)

This will add placeholder for DepthwiseConv2D in frontend
- to check loading mobilenet slim model

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tfl/frontend] ReLU6 Activation Layer (#2359)

* [enco/tfl/frontend] ReLU6 Activation Layer

This commit is for ReLU6 Activation Layer.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Pr fix: add code to op/Activation.cpp

[nnc] Support Pad operation on TFLite Importer and Interpreter (#2330)

* Support Pad op in TFLite imported and interpreter

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@partner.samsung.com>

[tflchef] Add DepthwiseConv2D for reverse (#2373)

This will add DepthwiseConv2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Conv2D for reverse (#2375)

* [tflchef] Add Conv2D for reverse

This will add Conv2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add comment

[tflchef] Add MaxPool2D for reverse (#2376)

This will add MaxPool2D Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add ReLU6 for reverse (#2374)

This will add ReLU6 Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add ReLU for reverse (#2377)

This will add ReLU Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Concat for reverse (#2370)

This will add Concatenation Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Add Reshape for reverse (#2371)

This will add Reshape Op for tflchef-reverse

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Splitting Frontend.cpp into Op/*.cpp and more (#2362)

* [enco] Splitting Frontend.cpp into Op/*.cpp and more

Through this commit, Frontend.cpp will be refactored into several files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pr fix: remove useless "tflite::"

* pr fix: Split h file into h and cpp file

* pr fix: remove wrong test files

[tflchef] Fix FlatBufferIntArrayToVector (#2369)

* [tflchef] Fix FlatBufferIntArrayToVector

This will rename FlatBufferIntArrayToVector to as_index_vector like enco/frontend and correct type of caller
- incorrect type may cause a problem in reading minus values in shape info

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix to typename

[tflchef] Prepare adding Ops with AveragePool2D (#2368)

This will add AveragePool2D operator handler and needed changes to test.
Also place holders for other operators to prevent merge conflict.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] generate_recipe for each operators (#2361)

This will fill handlers for each operators
- forward filler settings for the operator
- tflchef operator build and I/O settings for corresponding tflite operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] Fix deconv unittest build (#2366)

Fix deconv unit test build and adjust float epsilon

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc][utils][model_generator] Add converter from tree to tflite. (#2230)

Implemented converter from randomly generated Tree representation to TFLite model.

Signed-off-by: i-kulagin i.kulagin@samsung.com

[nnc] Initial support of various operations in ONNX frontend (#2286)

Operations supported in ONNX importer:
- Conv2d
- BatchNorm
- Pool
- scale
- dropout
- Elementwise operations (add, sum, mul, max)
- Gemm

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[nnc] Conv transpose in SoftBackend (#2290)

Implements Deconvolution in Soft Backend, caffe style transfer model is fully supported.

Signed-off-by: Andrei Shedko a.shedko@partner.samsung.com

[nnc] Add `shape` parameter to constructors of operations that cannot infer shapes of their outputs (#2338)

* Add `shape` parameter to constructor of `VariableOp`;
* Add `shape` parameter to constructor of `ReshapeOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tflchef] Implement generate_recipe (#2360)

* [tflchef] Implement generate_recipe

This implements partial of generate_recipe() for operators, operands and inputs,outputs.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unused

* reorder a line

* fix typo

* need check quantization

* fix typo

[tflchef] Introduce TFliteOpChef and Registry (#2357)

This will introduce TFliteOpChef base class for Operator handlers for translation and
TFliteOpRegistry for registeration of handlers.
All headers are included in RecipeChef to check compilation and as it will be used later codes.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflchef] Adds "comment" into recipe (#2356)

Now, recipe file can have "comment" field, which is ignored by tflchef.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflchef] Introduce TFliteImport (#2355)

* [tflchef] Introduce TFliteImport

This will introduce TFliteImport class that provides needed information from tflite::Model to build recipe

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add brief