[enco] Allow users to disable caffe test (#2037)

With this commit, users are now able to disable caffe test via CMake configuration.
Note that this commit does not change the default behavior.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Support Scale with bias term (#2030)

This commit extends enco caffe frontend to support Scale layer with bias term,
and introduces related caffe test.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update project documents for DR2 (#1640)

This commit add Unit test report and updates SDD, STD, DLD
for DR2 milestone

Signed-off-by: Sergey Vostokov <s.vostokov@samsung.com>

[enco] Support simple Scale layer (#2027)

This commit extends caffe frontend to support simple Scale layer (a
Scale layer without bias term).

This commit also includes a related test case.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce InstrBuilder (#2015)

This commit introduces InstrBuilder and simplifies the implementation of
caffe frontend.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Acl backend scale batchnorm dropout (#1954)

Scale and DropOut operations support in ACL backend.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc] Style transfer importer (#1892)

This PR adds Style Transfer operations support to caffe Importer.
The operations are:

 -  Deconvolution
 -  ELU
 -  TanH
 -  Elementwise

Signed-off-by: Andrei Shedko a.shedko@partner.samsung.com

[enco] Add tflite schema generation (#2014)

* [enco] Add tflite schema generation

This will add tflite schema generation
- add schema file with meta information file
- change cmake for header generation
- generated header is included in Entry.cpp for testing integrity

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[enco] Introduce OpBuilder (#2012)

This commit introduces OpBuilder class, and simplifies the
implementation of caffe frontend using OpBuilder.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Impement node replacement facility in Graph class (#1951)

Provides replaceNode which is used to replace a node in graph preserving all edges
Provides replaceNodeWithInput and replaceInputNodes methods, used to replace any node with input node
Provides replaceOutputNodes,  used to replace graph output nodes with new list

Adds unit tests for all implementations

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Acl backend activations and reshape (#1952)

ReLU, Capped ReLU, Tanh and Reshape support.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc] Resolve bug with custom opcodes unsupported in tflite (#2007)

Resolves bug #1991 with unsupported custom opcodes

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[coco] Remove unused PtrSlot.h (#1985)

This commit removes unused PtrSlot.h and related tests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce 'build_load' helper (#1983)

* [enco] Introduce 'build_load' helper

This commit introduces 'build_load' helper, and simplifies the
implementation of caffe frontend by using this helper.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unnecessary object update

[coco] Remove reads/updates from Instr (#1968)

With this commit, there is no need to implement reads/updates method for
each Instr, which makes it easy to introduce a new instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Refactored tflite frontend and fixed coding style (#1885)

Refactored tflite frontend and fixed coding style

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[enco] Remove unused reads/updates (#1963)

This commit removes unused reads/updates helper functions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce LLVM-like Instr casting operators (#1962)

This commit introduces the following LLVM-like casting operators for Instr class:
 - isa<T>
 - cast<T>
 - safe_cast<T>

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Identify ANN input/output with ANN bags method (#1960)

* [enco] Identify ANN input/output with ANN bags method

This commit refines the implementation of ANNModuleBuilder to use bags
method in ANNBinder instead of reads/updates method.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unused 'block' variable

[enco] Extend ANNBinder with bags method (#1959)

This commit extends ANNBinder with bags method which enumerates all the
bags that the current ANN subnet accesses during evaluation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Take "const Bag *" as an input (#1958)

The current implementation of readers/updaters takes "Bag *" as an
input, but these functions do not update Bag itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove unused Instr::dispose interface (#1957)

This interface was introduced as a mean to support safe resource
release, but is no longer used as helper classes such as "Read" allows
us to support safe reousrce release without this interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove PtrLink.h (#1948)

PtrLink.h was introduced to manage the internal connection between IR
entities, but it is no longer used.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Acl backend conc depth full pool (#1950)

Concatenation Depthwise Convolution Fully Connected and Pooling operations added.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc] Eliminate singleton from passes and passManager (#1844)

Eliminating singletons in frontend and backend passes with creating vector of unique_ptr of Passes in PassManager which contains in Driver which now non static. All passes will be deleted via PassManger destructor.

Signed-off-by: Pavel Iliutchenko p.iliutchenk@partner.samsung.com

Add support of last version of tflite schema (#1842)

Now we support shcema_v3.fbs, which is far behind the actual from master

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

Provide operation type list in `operations.lst.h` file (#1953)

Change Visitor.h to use this list for all operation type lists

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Add Code Of Conduct for NNC (#1938)

Describes basic requirements for any PR contributing to NNC project

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[coco] Remove irrelevant includes from Instr.h (#1947)

This commit removes unused irrelevant includes at the bottom of "Instr.h".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Add caffe 019 test (#1945)

This commit introduces caffe 019 test which includes a convolution layer
with bias term.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco.caffe] Support convolution with bias (#1944)

This commit extends enco caffe frontend to support convolution with bias
term.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Global data as a host allocation (#1943)

With this commit, enco NNAPI backend is now able to use constant weight
stored in global data as a host allocation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Enumerate host allocation correctly (#1942)

The current implementation("intermediates") cannot enumerate a bag
as a host allocation if this bag is shared by multiple ANN subnet,
but not accessed by host (ANN-incompatible) block.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Decouple buffer enumerator and memory allocator (#1941)

The current implementation of intermediate buffer enumerator is a bit
complicated as it should exclude input/output bags due to the design of
host memory allocator.

With this commit, host memory allocator is responsible for input/output
bag management. This design allows us to reduce coupling between intermediate
buffer enumerator and host memory allocator.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Emit Bag's initial data as global data (#1940)

With this commit, global data that global data generation pass emits
includes bag's weight values (in addition to weight values for ANN
operands).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Use valid bag size during DataLayoutConversion (#1933)

* [enco] Use valid bag size during DataLayoutConversion

The current implementation of "clone_feature" in data layout conversion
pass creates a new bag whose size is same as the size of a corresponding
bag.

However, this implementation may result in invalid bag mapping, especially
when the corresponding bag uses broadcasting layout (i.e. there are multiple
feature indices that map to one element in a bag).

This commit revises this buggy implementation of "clone_feature".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Do NOT declare unused oldbag variable

[coco] Bag-level weight allocation (#1932)

This commit introduces a new allocate API in PlainWieghtContext<T> which
allows users to allocate a weight for each bag.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix build (#1937)

Fix visitor in ACL soft backend which diverged with trunk version
Fix code style in IVisitor

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

Acl backend add softmax and convolution (#1907)

These operations run in the inference sequence

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[caffegen] Fix typos in MergeCommand.h (#1916)

This commit will fix trivial typos in `MergeCommand.h`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Add format.patch to gitignore (#1927)

* Add format.patch to gitignore

This will all format.patch file to gitignore to ignore temporary file of format checker

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add /

[coco] Channel-wise, Channel-major Feature Layout (#1924)

* [coco] Channel-wise, Channel-major Feature Layout

This commit introduces BC feature layout which allows users to express
channel-wise, channel-major element layout without performance overhead.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo

[caffegen] Introduce README for caffegen (#1915)

This commit introduce README for caffegen

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[enco] Initial directory and cmake for tflite frontend (#1919)

* [enco] Initial direcoty for tflite frontend

This commit introduce directory and initial cmake file for enco tflite frontend

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* [enco] Fix for PR #1919

- find_package->find_nncc_package
- use of std::runtime_error instead of assert for not-yet-implemented code

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

tflchef: TensorFlow Lite model generator (#1896)

* tflchef: TensorFlow Lite model generator

This commit includes the initial version of (random) tensorflow lite
model generator (tflchef) with the following features:

* Buffer (= Tensor with initial value) Generation
  - Float32 Buffer filled with constant value
* Operation Generation
  - Conv2D operation

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add else and catch Coding style rule (#1868)

Specify position of else and catch words in code

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

Support depthwise layer in caffe (#1893)

Import special case of grouped convolution as depthwise operaion

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Add ability to get inputs/outputs from model graph (#1905)

This commits adds collectInputs/collectOutputs methods to graph
Add _lastNodeId field to separate node indexing from nodes list size
Fix code style

Signed-off-by: Vladimir Plazun <v.plazun@partner.samsung.com>

[nnc] Support for Deconvolution and Elu (#1765)

Defined Deconvolution and Elu OPs.

Added support for Deconvolution and Elu in:
* modelIR Visitors
* Interpreter backend

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

Acl backend refine dom (#1745)

Adding an operation generator using the ACL DOM.

A new IR visitor has been added, which should generate the model operations representations using the ACL DOM.

Signed-off-by: Timur Ablyazimov <t.ablyazimov@samsung.com>

[nnc] Tanh and elementwise (#1856)

Add TanhOP

This adds Tanh activation function to the interpreter and visitors

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[coco] Build as a shared library (#1899)

Frontend/backend based on coco will share core/generic libraries,
and thus static linking leads to one definition rule (ODR) violation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Add caffe 018 test (#1897)

This commit introduces caffe 018 test which includes a single
element-wise multiplication layer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[caffegen] Use C++ standard iostream for in/out (#1881)

This commit rewrites I/O routines in caffegen to use C++ standard
iostream to avoid possible portability issues.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Generate protobuf code upon schema change (#1890)

The current implementation of Protobuf_Generate does not refresh
the header and source files even though there is a change in protobuf
specification.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco.caffe] Support Eltwise Prod Layer (#1884)

* [enco.caffe] Support Eltwise Prod Layer

With this commit, enco caffe frontend is now able to build coco IR even
in the presence of a Eltwise Prod layer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use mul instead of add

[coco] Remove unnecessary indentation (#1889)

This commit removes unnecessary indentation which is left to reduce code
changes during refactoring.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Use -pthread (#1888)

* [nnkit] Use -pthread

This commit updates CMakeLists.txt to prefer -pthread (which affects
both compilation and linking) to -lpthread (which affects only linking)

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update comment

[coco] Rename local variables in Def test (#1887)

Def test current includes several local variables whose name is
counter-intuitive.

This commit renames these variables in order to make it easy to
understand the test.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Build ANN Mul operation from coco IR (#1877)

With this commit, enco NNAPI backend is now able to build ANN Mul
operation from coco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Fix core CMakeLists (#1883)

This commit should fix errors when building nnc_core without protobuf.

Signed-off-by: Denis Maksimenko <d.maksimenko@partner.samsung.com>

[enco.caffe] Construct coco IR with reducer (#1876)

This commit revises coco IR build routine for Eltwise layer to be
extensible (in terms of supported operation).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Rename ::mock::Def (#1878)

::mock::Def inherits coco::Producer (not coco::Def).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove ID from ANNBinder (#1882)

There is no code (except its testcase) that uses ID assigned to each
ANNBinder.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Link thread libraries (#1880)

This commit links thread libraries to nnkit_support_backend to properly
support multi-threaded backends (such as a backend based on ARMCompute NEON).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Support elementwise multiplication (#1875)

With this commit, coco IR is now able to express elementwise
multiplication.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Extend ANN IR with Mul op (#1874)

With this commit, users are allowed to create ANEURALNETWORKS_MUL op
on top of ANN IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Add license notice (#1838)

This commit appends license notice for the sources and headers of
coco generic.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce BinaryOp trait (#1873)

This commit extracts BinaryOp trait from Add, and simplifies the
declaration and implementation of Add class using this BinaryOp trait.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[refNN] Import Element-wise Mul operator (#1872)

This commit imports the implementation of ANEURALNETWORKS_MUL operator
from reference android NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Fix iterate_constant_block test (#1871)

The name of iterate_constant_block test implies that this test SHOULD
iterate instructions in a constant block, but the current implementation
does not do that.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fixed caffe PassException what method, minor fixes (#1867)

* Fixed caffe PassException method
* Fixed sasha.caffemodel
* Made caffe op-checker methods non static

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[nnc] Eliminated visitors from caffe frontend (#1788)

* Replace visitors with iterators in caffe frontend
* Collect unsupported layers
* Fix coding style
* Remove dump visitor utils

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

Refactor PassException and DriverException classes (#1843)

* derive DriverException from std::exception
* replace methods `reason` with `what`
* add unnamed namespace in unit test for PassException
* refactor according to coding style

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Delete nodes allocated in unit test. (#1855)

These nodes caused memory leaks detected by ASan and valgrind.

Signed-off-by: Denis Maksimenko <d.maksimenko@partner.samsung.com>

[enco] Introduce residual test (#1863)

This commit introduces 'residual' test which includes a part of ResNet.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce 017 test (#1862)

This commit introduces caffe 017 test which includes one element-wise
add layer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco.caffe] Build coco IR from Eltwise Sum layer (#1861)

With this commit, enco caffe frontend is now able to build coco IR from
Eltwise Sum layer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Construct ANN Add op from coco IR (#1860)

This commit extends Split pass to construct an ANN "Add" op from a
"Eval" instruction with a Add operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Support ANEURALNETWORKS_ADD in ANN IR (#1859)

This commit extends ANN IR to support ANEURALNETWORKS_ADD operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Use Conv2D kernel data without modification (#1858)

This commit revises Split pass to use Conv2D kernel data that coco::Data
provides without modification (to reduce peak memory consumption).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Generate ANN Opcode from def (#1857)

This commit introduces Operation.def which enumerates Android NN operation
supported in ANN IR, and rewrites ann::IR::Operation:::Code declaration
using Operation.def

Besides, OperationDecl::opcode method is now generated from this def
file with this commit.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce UnaryOp trait (#1853)

This commit introduces UnaryOp traits, and simplifies the implementation
and declaration of several existing operation classes, such as ReLU and
PadF.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Add file comment on Op.h (#1852)

This commit add file-level comment on Op.h.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove unused FeatureInstr (#1851)

This commit removes codes related with FeatureInstr from coco.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce Add Op (#1850)

This commit extends coco IR with element-wise Add operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce Ops.h (#1849)

This commit introduces Ops.h which includes all Op class declarations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce factory method for GenericKernelLayout (#1848)

This commit introduces factory method (create) for GenericKernelLayout,
and enforces users to construct it only via factory method.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduces Instrs.h (#1847)

This commit introduces Instrs.h which includes all of instruction
classes in coco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Enforce NHWC layout for Conv2D kernels (#1846)

With this commit, Data Layout Conversion pass enforces each Conv2D op
uses a kernel of NHWC layout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Support raw-data access (#1839)

* [coco.generic] Support raw-data access

This commit introduces weight method in PlainWeightContext which supports
raw-data access.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use @note

[coco] Generate Instr create methods from list (#1841)

With this commit, create methods in InstrManager are generated from
Instr.lst.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] AvgPoolLowering as a function (#1840)

This commit rewrites AvgPoolLowering as a function for consistency.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove ObjectList.h (#1837)

There is no code that includes this header.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove deprecated UnitF (#1835)

This commit removes deprecated UnitF instruction from coco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove UnitF reference (#1834)

As the first step to deprecate UnitF in coco IR, this commit removes all
the reference of UnitF from NNAPI backend.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco.caffe] Emit Eval upon Pooling layers (#1833)

With this commit, enco caffe frontend now emits Eval instruction for
Pooling layers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Build ANN IR from Pooling Op in Eval (#1831)

* [enco] Build ANN IR from Pooling Op in Eval

With this commit, ANNOpBuilder is now able to build ANN IR from Pooling
Op inside Eval instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Add missing assert

[enco.caffe] Emit Eval instruction for ReLU (#1832)

With this commit, caffe frontend now emits Eval instruction (instead of
UnitF) for ReLU layers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Lower AvgPool2D op in Eval instruction (#1830)

This commit extends AvgPool lowering pass to lower AvgPool2D op even
when it resides in Eval instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>