[nnc] Increase interpreter speed (#2768)

Remove vector usage from Shapes and Indices
Move all getters into headers( inlining )
Increase inference speed up to 4x-6x times
Tinker with Deconv2D implementation to speed it up
Fix issue in broadcasting implementation

Signed-off-by: Vladimir Plazun v.plazun@partner.samsung.com

NNC comments code of conduct rules. (#2915)

The doc about PRs and source code comments rules was included.

Signed-off-by: Andrew V. Tischenko a.tischenko@partner.samsung.com

[nnc] Handle explicit memory operations in cpu backend (#2901)

- Generate explicit memory operations in inference sequence in ModelAnalyzer
- Generate code for memory operations from inference sequence in C++ generator

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Eigen realisation of some activation functions of SoftBackend (#2926)

New realisations for activation functions:
- CappedRelu
- LeakyRelu
- Sigmoid

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Prepare the ACL backend for the future changes related to adding of the Tensor class in the ModelIR (#2933)

* Change the signature of `tensorName` and `genTensor` methods to accept `IODescriptor` instead of `Operation`.
* Use the `collectInputs` and `collectOutputs` methods of Graph class instead of collecting input and output operations manually in the ACL backend.
* Add `getInput` method to `Operation` class.
* Add uses of `getInput` method in the ACL backend.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[coco] Edit comment box into consistant way (#2923)

This commit edits '/***' into '/**' in coco as majority of comment boxs
start with '/**'. Moreover doxygen could only parse comment boxs start
with '/**' as documentation.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnc] Implemented PadOp in ACL backend (#2925)

Implemented ACL backend pad operation.

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Delete interpreter system tests (#2927)

Delete deprecated interpreter system tests.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Don't serialize excess constant tensors in ACL backend (#2906)

Reduce memory consumption by elimination of excess constant tensor serialization in ACL backend

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Rename VariableOp class to InputOp (#2924)

Rename VariableOp class to InputOp. This class represents graph inputs; InputOp is more precise name for this class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[enco] Add test file for constant folding (#2898)

* [enco] Add test file for constant folding

Until now, there is no test file to validate constant folding
This commit will add such test cases

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* Use same prefix

[coco] Fix typo in comment (#2911)

This commit corrects 'breif' into 'brief' in coco

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[enco] Fix typo in comment (#2912)

This commit corrects 'breif' into 'brief' in enco

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnc] CPU backend sequence memory and transpose operations (#2884)

- Move inference sequence entities to separate file
- Refactor inference sequence uses to support several types of operations
- Code style fixes in cpu soft backend

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Allocate ACL elementwise op output and temporary tensors (#2914)

Allocate ACL elementwise op output and temporary tensors

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Remove shared_ptr from TensorVariant's constructor (#2907)

* Change the signatures of TensorVariant consturctors to accept a plain pointer to data instead of shared_ptr.
* Refactor uses of the constructors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[enco] Not apply constant folding when instruction has output bag (#2897)

* [enco] Not apply constant folding when instruction has output bag

Until now, constant folding was even applied to the instructions which have output bag.
If then, constant folding tries to update network output buffer but it is not impossible.
Furthermore, the total result would be abnormal.
This commit will fix it by not applying constant folding when instruction has output bag and add related testcases.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* add TODO comment

* rename testcase

[nnc] Support for non-1 batch in Conv2D and DepthwiseConv2D operations (#2902)

* Add support for non-1 batch size in Conv2D and DepthwiseConv2D in interpreter backend.
* Fix a bug in ShapeRange class that caused undefined behavior when it is constructed from a temporary.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove limitation on input shape in importers (#2903)

Remove limitations on input shape in Caffe2, TensorFlow Lite and ONNX importers.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Fix arm-cpu build (#2905)

Fix arm-cpu build by removing activations left out under #ifdef

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[enco/caffe] Average Pooling with Non Square Kernel (#2892)

This commit fixes a bug in Caffe frontend which results in incorrect
results when there is an average pooling layer with non squre kernel.

This commit also adds a related regression test.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Fixed several ACL bugs (#2900)

* Increased padding if caffe formula for pooling output producing wrong result
* Removed `RoundMode` from `PoolOp`
* Added missing argument for generated `CLArithmeticAddition` call

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Conv refactor (#2886)

Cleaned up `Conv2d` and `ConvTranspose`;
Updated Conv2d with upstream implementation

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Refactor TensorFlow Lite importer (#2890)

Refactor TensorFlow Lite importer to identically process constant and variable inputs to operators.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Fixed nnc test coverage collecting (#2889)

[nnc] Fixed nnc test coverage collecting

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[enco] Remove unused variable load (#2882)

To suppress unused variable warning, remove declaration of `load`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[enco] Add residual_bn test (#2822)

This commit adds the residual_bn test
by copying the original residual block from resnet18.prototxt.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Support decentralized build dependency declaration (#2865)

This commit allows each sub-project to declare its build dependencies.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Add BatchNorm in caffe frontend (#2879)

* [enco] Add BatchNorm in caffe frontend

This commit has BatchNorm layer in caffe frontend

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add BatchNorm testcase in caffe test

* Removed unused file and Update year

[nnc] Make convolution operations treat the second tensor as ordinary argument (#2869)

* Change the signatures of Conv2DOp, DepthwiseConv2DOp and DeConv2DOp to identically handle both input parameters.
* Refactor uses of Conv2DOp, DepthwiseConv2DOp and DeConv2DOp.
* Rename corresponding files in interpreter backend according to coding style.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[enco] remove unnecessary indentation (#2875)

This will remove unnecessary indentation and remove todo comment

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce BUILD_FLATBUFFERS option (#2874)

This commit introduces BUILD_FLATBUFFERS option which allows users not
to build Flatbuffers (and use pre-installed one instead).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Fix build (#2871)

- Fixed build failure due to signature change.
- Refactored ONNX importer from PR #2705

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Add temporary im2col buffer reuse (#2859)

Add temporary buffer reuse to soft backend for Conv
Implemented via a temporary tensor

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] New importers/style transfer ops support (#2705)

Added resize to caffe2 and ONNX (as upsample)
Tested with 1 layer nets.

Signed-off-by: Andrei Shedko a.shedko@partner.samsung.com

[nnc] The initial implementation of Shape op in ONNX (#2868)

inception_v3 model requires this operation.
In addition I changed the includes order inside some ONNX files.

Signed-off-by: Andrew V. Tischenko a.tischenko@partner.samsung.com

[nnc] Remove BiasAdd and ScaleOp from Add operation in Caffe2 frontend (#2857)

* Remove BiasAdd and ScaleOp from caffe2 convertAdd
* Fix BatchNorm assertion of caffe frontend
* Fix Elementwise with broadcast on caffe frontend

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Mobilenet support in soft backend in ONNX (#2866)

Soft backend can't load int64 constant tensors that's why it was transformed in float one (reshape operation).

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[nnc] Make FullyConnectedOp treat the second tensor as ordinary argument (#2858)

* Change the signature of FullyConnectedOp to identically handle both input parameters.
* Refactor uses of FullyConnectedOp.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Some ops fixes, mobilenet support on ONNX. (#2856)

There were fixed/implemented the following operators:
PadOp, GivenTensorFillOp, ConstantOp, ConvOp.
As result we have now 2 working NNs: resnet50 and mobilenet. The last one was tested on interpreter only.

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

[enco] Fix comment for duplicate_inout_bag (#2864)

This will fix a typo and explanation of the function

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco/tflite] Add Regression 0003 testcase (#2854)

This commit introduces Regression 0003 testcase whose inputs are all
constant.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Adapt ONNX importer to modified ScaleOp interface (#2860)

Take into account modified interface of ScaleOp in ONNX importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Make BiasAddOp and ScaleOp treat the second tensor as ordinary argument (#2848)

* Change the signatures of BiasAddOp and ScaleOp to identically handle both input parameters.
* Refactor uses of BiasAddOp and ScaleOp.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Refactor TFLite importer to support operators with multiple outputs (#2816)

Make operator conversion methods accept and return vectors of `IODescriptor`s.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tflchef] Support Sqrt operation (#2695)

This commit supports generating tflite file of Sqrt operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflchef] tlchef for FullyConnected (#2852)

* [tflchef] tlchef for FullyConnected

This commit adds code to convert recipe for FullyConnected to tflite file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* alphabetical order

* remove comment about alphabetical order

[enco] Refactor DuplicatePass (#2850)

This will hide DuplicatePass class and provide duplicate_inout_bag() like the other transformation pass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Refactor SplitPass (#2849)

This will hide SplitPass class and provide split_into_phases() like the other transformation pass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Comment for bypass_shuffle (#2843)

* [enco] Comment for bypass_shuffle

This will add comment for generate_bypass_shuffle method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

* apply comments

* apply comment

[coco] Add comment of Bag Input Output (#2846)

* [coco] Add comment of Bag Input Output

This will add explanation comment for input and output attributes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comment

[nnc] Refactoring cmake build system (#2844)

* make separate config and utils files
* refactoring CMakeLists in other components

Signed-off-by: Roman Rusyaev <r.rusyaev@samsung.com>

[nnc] Refactor ONNX importer to support operators with multiple outputs (#2831)

Make operator conversion methods accept and return vectors of IODescriptors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Fix soft backend implementation for Gemm (#2750)

- Fixed generation of cpu soft backend gemm operation
- Small refactoring and typo fixes of interpreter and onnx frontend

Signed-off-by: Andrew V. Tischenko <a.tischenko@partner.samsung.com>

Integrate TensorFlow Lite 1.12 (#2838)

* Integrate TensorFlow Lite 1.12

This commit introduces the following changes to use TensorFlow Lite 1.12
instead of TensorFlow Lite 1.7
- Use the latest Flatbuffers (v1.10)
- Update Flatbuffers Build methodology
- Update nnkit's tensorflow lite support library

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo (avaialable -> available)

* Remove debug code

* Update status message

[enco] Support constant folding for add, sub, mul, div, sqrt (#2821)

* [enco] Support constant folding for add, sub, mul, div, sqrt

Until now, only `coco::Copy` instruction was available for constant folding.
This commit will support some `coco::Eval` instructions in constant folding,
which is add, sub, mul, div, sqrt.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* minor modifications

[nnc] Add check for include generation correctness in acl unit tests (#2722)

- Add checks for correct include DOM generation
- Fix system headers setter in ArtifactModule

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Made importer error message prettier (#2761)

Made importer error message more prettier
Message example:
```
NNC can't load model. Detected problems:
  * Cos: unknown layer
  * Only 'NCHW' axis order is supported
  * Sin: unknown layer
```

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Remove transposes of inputs and outputs in importers (#2837)

Remove transposes of input and outputs tensors in Caffe and Caffe2 importers

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove the debugTranspose option (#2813)

Remove the `debugTranspose` option which is no longer needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Generate getters for unnamed output operations  (#2830)

- Remove redundant type in operation analysis
- Move output nodes registration outside of operation analysis
- Refactor artifact tensor declaration in soft backend
- Create persistent tensor for output node without name

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Bugfix for the SVACE warning (#2743)

Pass large arguments by reference and small by value

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

 [nnc] Free temporary tensors to reduce memory consumption of ACL artifact (#2767)

- Remove redundant reverse shape transposes like this [0,1,2,3]->[3,2,1,0]
- Refactor tensor serialization

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[enco] Comment for dead object elimination (#2819)

This will add a comment for getting dead objects

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce TensorFlow Lite 1.12 package (#2820)

This commit introduces TensorFlow Lite 1.12 package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce Abseil package (#2818)

This commit adds Abseil package which provides abseil target.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[encodump] Support Div operation (#2814)

This commit would enable encodump to get model with Div operation

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnsuite] Use specific tflite version (#2807)

TensorFlow Lite currently has no public API, and thus its
interface(=API) is subject to change.

Let's use specific tflite version to avoid compilation failure due to
API incompatibility.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Add comments for constant folding (#2808)

* [enco] Add comments for constant folding

This will add some comments of constant folding

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply suggestion

* use capital letter

* fix grammer

[enco] Add test case for Div operation (#2812)

This commit adds test case for Div support in enco

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnc] Fix incorrect operation id for leaky relu (#2815)

Id of LeakyRelu operation was incorrectly set as ReLU

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Check that the model has the correct format in Caffe importer (#2753)

Ensure that the model file consumed entirely, otherwise complain that the model cannot be loaded. Fixes #2050.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Support Clip and Reshape operations on caffe2 importer (#2751)

* Support GivenTensorInt64Fill const tensors
* Convert Clip operation in CappedRelu
* Support Reshape operation

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

 [nnc] remove redundant shape transposes from acl backend  (#2764)

- Remove redundant reverse shape transposes like this [0,1,2,3]->[3,2,1,0]
- Refactor tensor serialization

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix deconv2D import in tflite importer (#2544)

Use output shape stored in tflite model as it's impossible to compute it from operation parameters

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[enco] Support Div for tflite frontend (#2779)

* [enco] Support Div for tflite frontend

This commit extends enco tflite frontend including Div operation

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Rename ifm, ofm indices to 'num', 'denom' and 'out'

* Add activation assertion

* Input shapes may differ in case of broadcasting

* Remove redundant variable d

* Add TODO notice about object type generalization

[ann] Fix Div operation to perform division (#2806)

This commit fixes Div operation in ann to correct way

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Support Pre/Post Package Hook (#2798)

With this commit, nncc_find_package invokes pre (and post) hooks before (and after)
actual find_package invocation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnkit_support_tflite-1.7 target (#2804)

This target allows clients to specify the version of tensorflow lite that
they want to use.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[ann] Support Div operation (#2800)

* [ann] Support Div operation

This commit would support Div operation in ann

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Change indent and minor refactoring

Introduce Abseil Source package (#2802)

* Introduce Abseil Source package

This commit introduces Abseil (C++) source package as a nncc external
package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update comment

[enco] fix typo in comment (#2801)

This will fix typo in reduce_identical_object comment

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Update external dependencies on URL change (#2799)

With this commit, ExternalSource_Download will re-download external source
if its URL has changed.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add .vs folder to gitignore (#2797)

This will add to ignore Visual Studio temporary .vs folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Remove deprecated TensorFlowLite package (#2786)

Let's use versioned package instead.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Add comment of Locatable (#2796)

* [coco] Add comment of Locatable

This will add comment for Locatable interface

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* simplify

[nnc] Support transpose in acl backend (#2746)

- Support transpose operations in acl backend
- Insert transposes in acl backend where needed
- Add test for transpose operation

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Support for LSTM Caffe layer (#2721)

* Add support for LSTM Caffe layer.
* Rename "SoftmaxLoss" Caffe layer to "SoftmaxWithLoss" as it should be.
* Add support for non-default axis for InnerProduct Caffe layer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Add LeakyRelu activation (#2757)

* [nnc] Add LeakyRelu activation

Implement leaky relu activation function( relu with negative slope )

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[enco] Fixed debugging typo (#2793)

enco_dump_all_bags, _objects, _ops, _instrs take module as a parameter.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[enco] Support Div for ANN backend (#2792)

* [enco] Support Div for ANN backend

This commit enables ANN backend generation for Div operation

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Remove irrelavant modification in 'Debugging.cpp'

[nnc] Fix for constant in ModelAnalyzer (#2744)

Fixed constants not being visible in soft backend

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[enco] add comments for loads in DataLayoutConversion (#2789)

* [enco] add comments for loads in DataLayoutConversion

This will add some comments explaining the condition

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove 'deleted'

* add about bounded

* use 'note'

[coco] Support Sqrt operator in coco (#2790)

This commit adds Sqrt op in coco.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce TensorFlow 1.12 source package (#2785)

This commit integrates TensorFlowSource (1.12) package into nncc build
system.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Add comments to subst method (#2775)

* [enco] Add comments to subst method

This will add explanation comment of subst() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* some changes and example code

* use word USER

* Apply suggested comment

* fix typos

* use word Consumer

[nnkit] Use specific version of TensorFlow Lite (#2782)

This commit updates nnkit_support_tflite uses a specific version of
tensorflow lite (v1.7).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

ExternalSource_Download with URL keyword (#2784)

This commit updates ExternalSource_Download to accept URL keyword as an
argument of the following form:

 ExternalSource_Download(SAMPLE DIRNAME "SAMPLE" URL "...")

This change will make it easy to understand CMake build script.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add TensorFlow Lite 1.7 package (#2778)

This commit introduces TensorFlow Lite 1.7 package to nncc build system.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Support Div operation (#2770)

This commit extends coco IR including Div operation

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>