[enco.caffe] Emit Eval instruction for ReLU (#1832)

With this commit, caffe frontend now emits Eval instruction (instead of
UnitF) for ReLU layers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Lower AvgPool2D op in Eval instruction (#1830)

This commit extends AvgPool lowering pass to lower AvgPool2D op even
when it resides in Eval instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Generate Pad Op tree for AvgPool lowering (#1829)

This commit revises AvgPool lowering pass to generate Eval instruction
with Pad Op tree (instead of UnitF).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Relocate nnkit backends for nnsuite conv model (#1828)

Now, the implementation of nnkit backends for nnsuite
conv model lives in nnsuite directory (not in nnkit directory).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Build ANN IR from PadF Op tree (#1827)

With this commit, ANNOpBuilder is now able to build ANN IR from PadF Op
tree.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Support weight data release (#1826)

This commit introduces 'release' method which allows users to
deallocated a memory chunk for weight data.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce PadInstrBuilder (#1825)

This commit extracts PadF instruction generation routine as
PadInstrBuilder class, and simplifies AvgPoolRewritePass using it.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNPadFAppender (#1824)

This commit extracts Pad Op generation code as ANNPadFAppender.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove deprecated DefaultVisitor and DefaultMutator (#1821)

This commit removes derprecated DefaultVsitor and DefaultMutator for
Instr.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNAvgPool2DAppender (#1820)

This commit extracts AvgPool2D Op generation code as
ANNAvgPool2DAppender.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNMaxPool2DAppender (#1818)

This commit extracts MaxPool2D Op generation code as
ANNMaxPool2DAppender.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] PadF as a Op tree node (#1817)

With this commit, PadF may serve as a node of Op tree.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] AvgPool2D as a Op tree node (#1816)

With this commit, AvgPool2D may serve as a node of Op tree.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Introduce allocated method (#1815)

This commit introduces Data::allocated method which allows users to
check whether a bag has a corresponding weight.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove unused BlobID (#1814)

BlobID has no referenced in coco IR codebase.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Compile ReLU op in Eval instruction (#1813)

With this commit, ANNOpBuild is now able to compile a simple ReLU op in
Eval instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] MaxPool2D Op Tree (#1812)

With this commit, MaxPool2D may serve as a node of Op tree.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Do NOT use deprecated Instr::DefaultVisitor (#1811)

This commit removes all the use of deprecated Instr::DefaultVisitor
inside enco NNAPI backend.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Manage Bag-to-Data link in BlobContext (#1806)

The current implementation manages Object-to-Data link inside
PlainWeightContextImpl, which violates one of the the main concepts of
coco IR:
 - Object is just a view over Bag.

With this commit, BlobContext is now responsible for Bag-to-Data link
management, which is aligned with the concept of Bag and Object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Rename Rewrite as AvgPoolLowering (#1809)

This commit renames Rewrite as AvgPoolLowering for consistency

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Return nullptr on Eval compilation failure (#1807)

The return value may be undefined with the current implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Expose ReLU::arg methods (#1805)

Currently, arg methods in ReLU class are private.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Honor KernelLayout (#1803)

This commit revises kernel reader/accessor that coco::Data generates to
honor the layout of a given kernel object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNReLUAppender (#1802)

As the first step to compile ReLU inside Eval, this commit extracts ReLU
compilation code as ANNReLUAppender which does not depend on UnitF.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco.caffe] Emit Eval on Convolution (#1800)

With this commit, Caffe frontend now emits Eval instruction (instead of
UnitF) for Convolution layers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Tree-like ReLU op (#1801)

This commit rewrites ReLU class to support tree-like Op structure.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Traverse only UnitF instructions (#1799)

This commit refines the implementation of data layout conversion pass to
traverse only UnitF instructions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Build ANN Conv2D/DepthwiseConv2D from Eval instruction (#1798)

This commit allows Split pass to build Conv2D and DepthwiseConv2D
operation from Eval instruction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Rename Lower as CopyLowering (#1797)

This commit renames Lower.h and Lower.cpp as CopyLowering.h
and CopyLowering.cpp, respectively.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNDepthwiseConv2DAppender (#1795)

This commit introduces ANNDepthwiseConv2DAppender which does not depend
on UnitF instruction declaration, and rewrites ANNOpBuilder to use this
new appender.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Insert Copy after Eval if necessary (#1796)

This commit revises data layout conversion pass to insert Copy after Eval
if necessary.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Insert Copy before Load if necessary (#1794)

This commit rewrites Data Layout Conversion pass to insert Copy before
each Load op if necessary.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNConv2DAppender (#1793)

This commit introduces ANNConv2DAppender which does not depend on UnitF
instruction declaration, and rewrites ANNOpBuilder to use this new
appender.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] clone_feature as a non-class helper (#1792)

This commit extracts 'clone' method in ShuffleGen as 'clone_feature'
which is a non-class helper function.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove ObjectInfo.forward.h (#1791)

ObjectInfo.h no longer exists, but ObjectInfo.forward.h is still in the
code tree.

This commit removes ObjectInfo.forward.h itself along with all of its
references.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce ANNOpAppender interface (#1790)

This commit introduces ANNOpAppender interface which generalizes the
existing Appender interface (based on std::function).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Return correct parent for non-root nodes (#1782)

This commit fixes the implementation of Op::parent method to return
correct parent even for non-root nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Rename Normalize as DataLayoutConversion (#1783)

This commit renames Normalize pass as DataLayoutConversion pass, and
rewrites it to expose one function similarly as other transforms.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce Op mutator interface (#1781)

This commit introduces basic boilerplates for Op mutators.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add low level code style description (#1736)

Add code_style.rst document that describes C++ formatting and naming conventions

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Fix unchecked ferror on file descriptor after reading file (#1746)

* May occur error while reading which is skipped without checking ferror

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@partner.samsung.com>

[nnc] Add default case in intepreter Pooling op (#1748)

* Add default in switch case construction with enum

* Add assert statement to default condition to switch case

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@partner.samsung.com>

[nnc] Fix switch construction with default case (#1709)

* add assert(false) to default case of switch statement

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@partner.samsung.com>

[nnc] Refactor nnc Shape and related classes (#1645)

Number of warnings minimized,
Replace unsigned ints with signed in Model IR
Move num_elements and AUTO_DIM into Shape class

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[nnc] Add misc scripts (#1610)

Add utility scripts that we use to repository.

Signed-off-by: Denis Maksimenko <d.maksimenko@partner.samsung.com>

[nnc] Add readme for interpreter testing system (#1157)

Described how to run interpreter tests and how to add
tests for new NN operations.

Signed-off-by: Dmitry Mozolev <d.mozolev@samsung.com>

Caffe Model Maker (#1735)

This utility creates 1 or 2 layer caffe models.

Signed-off-by: Andrei Shedko <a.shedko@partner.samsung.com>

[nnc] Refactor serialization (#1733)

This PR:
* Addresses issue #1681: de/serialization systems are changed to stare tensor data as raw bytes sequences, which reduces some amount of code now and, potentially, more later
* Changes codestyle in related files a bit to correspond with our future standarts
* Changes file structure of related files: serializer is now moved from a separate folder into modelIR folder.
* Fixes #1701

Signed-off-by: Denis Maksimenko <d.maksimenko@partner.samsung.com>

[enco] Decouple ANN IR from enco Code (#1780)

With this commit, enco::Code no longer holds ANNContext. Each pass can
access ANNContext through SubnetManager.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Require Instr on Step construction (#1779)

This commit disables default constructor of Step, and explicitly requires
Instr on construction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Decouple ANNContext and Code in ANNGroupBuilder (#1777)

This commit revises ANNGroupBuilder to explicitly take ANNContext as a
pointer.

This change will allow users to use their own ANNContext instead of the
one embedded in enco::Code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Eliminate unused argument of ANNOpBuilder constructor (#1775)

ANNOpBuilder currently takes coco::Data *, but it is not used anymore.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Simplify arguments of ANNModuleBuilder (#1776)

coco::Code and coco::Data are never used inside ANNModuleBuilder.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Tree-like Conv2D op (#1773)

* [coco] Tree-like Conv2D op

This commit introduces 'arg' methods to Conv2D class, which allows
frontend to construct a tree-like structure with Conv2D Op.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo

[coco] Automatically generate Op create methods (#1774)

With this commit, OpManage::create<Op> method for each Op is
automatically generated from Op.lst.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce Eval instruction (#1772)

This commit introduces Eval instruction as a mean to integrate tree-like
Op structure into coco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove deprecated methods from Window2D class (#1771)

This commit removes deprecated methods from Window2D and updates related
tests accordingly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove unnecessary indentation in Update.cpp (#1770)

This commit removes unnecessary indentation in Update.cpp.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce Load op (#1769)

This commit introduces Load op which serves as a leaf node of tree-like
Op structure.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove unnecessary indentation in Use.cpp (#1768)

This commit removes unnecessary indentation in Use.cpp.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Allow Op to have a parent Op (#1767)

This commit allows each Op to have a parent Op as the first step to support
tree-like Op structure.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Global as local helper class (#1766)

Now, only Global Data Generation pass accesses the internal of 'Global'
class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove unused internal helpers (#1762)

Global.cpp includes several unused internal helpers, which was used to
construct a string value before.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Remove Op::dispose (#1761)

'dispose' was introduced as a mean to unlink itself before
destruction as each Op implementation does not unlink itself
on destruction at that time.

Now, 'Use' and 'Step' allow every 'Op' to unlink itself on destruction,
and thus 'dispose' is no longer necessary.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Use BackendPlugin (#1759)

This commit replaces BackendBinder implemented in nni with BackendPlugin
that nnkit_support_backend provides.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Introduce 'benchmark' tool (#1760)

This commit introduces 'nnkit-benchmark' which measures the
performance of each backend.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Reduce host-side allocation (#1756)

This commit eliminates unnecessary memory allocation for host
(non-NNAPI) code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Introduce nnkit_support_backend (#1758)

This commit introduces nnkit_support_backend library. It currently provides
BackendPlugin class which makes it easy to load a backend from a shared
library (so).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Remove duplicated VectorArguments (#1757)

This commit replaces VectorArguments implemented in nni with the one
that nnkit_support_cmdline provides.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Introduce nnkit_support_cmdline (#1755)

* [nnkit] Introduce nnkit_support_cmdline

This commit introduces nnkit_support_cmdline (v0.1) which includes
VectorArguments that implements CmdlineArguments interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Add missing license notice

'nncc_core' as a static library (#1754)

This commit converts 'nncc_core' as a static library in order to
permit the use of this library without installation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

'nncc_foundation' as a static library (#1753)

This commit converts 'nncc_fountion' as a static library in order to
permit the use of this library without installation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Remove unused macros (#1752)

'nnkit_add_action' and 'nnkit_add_backend' was introduced to support
self-registration, but the current design of nnkit no longer uses
self-registration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Emit Portable ASM code (#1743)

GNU "an" interprtes '@' symbol as a comment symbole for some architecture,
such as ARM.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Emit global weight data as a binary file (#1741)

With this commit, C++ code that enco generates no longer includes an
initializer for global weight data.

Instead, enco generates .bin file, and embed this data into an
executable through corresponding asm file.

This change significantly reduces the overhead of C++ code generation
and its compilation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove unused aligned function (#1742)

This commit removes unused aligned function implemented in
Normalize.cpp.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce KernelLayout::ID (#1740)

This commit introduces KernelLayout::ID and extends KernelLayout
interface and its concrete implementations to return its id
in order to make it easy to distinguish each layout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Use pre-defined NCHW layout in Caffe frontend (#1737)

This commit rewrites Caffe frontend to use pre-defined NCHW kernel layout
instead of Generic one (for performance optimization).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce NHWC kernel layout (#1738)

This commit introduces pre-defined (optimized) implementation of NHWC
kernel layout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Introduce Global Data Generation Pass (#1739)

This commit extracts code related with global weight array generation,
and introduces "Global Data Generation" pass that includes the extracted code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce create method for Generic FeatureLayout (#1731)

For consistency, this commit introduces create method for Generic
FeatureLayout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] KernelObject with empty layout (#1730)

This commit allows users to construct a KernelObject with empty layout.

For that, this commit includes the following changes:
- Introduce default constructor for KernelObject class
- Specialize template-based create method in ObjectManager for coco::KernelObject

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Emit Global constant as a single array variable (#1728)

With this commit, C++ code that enco generates uses a single (uint8_t) array
as a storage for weight values.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce KernelLayouts module (#1729)

This commit introduces KernelLayouts module which provides a set of
pre-defined KernelLayout classes.

The initial implementation includes includes only NCHW layout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce KernelLayout interface (#1725)

This commit introduces KernelLayout interface, and rewrites KernelObject
to use this interface instead of GenericKernelLayout.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Dead Bag Elimination as an independent module (#1726)

This commit introduces "DeadBagElimination" module (header and source)
which includes the declaration and implementation of 'eliminate_dead_bag'.

Previously, the declaration and implementation was in Optimizations
module.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Introduce FeatureShape alias (#1727)

This commit introduces FeatureShape type in coco (which is an alias of
nncc::core::ADT::feature::Shape) for ease of use.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Eliminate nested namespaces in nnc project (#1710)

* Eliminate nested namespaces in nnc project

* replace core with mir
* replace nncc with nnc
* replace clopt with cli
* eliminate namespaces:
  - contrib
  - model
  - IR
  - data
  - backend
  - soft
  - dumper
  - ADT
  - interpreter
  - frontend
  - pass
  - common
  - util
  - impl
* remove `using` directives in some headers

Signed-off-by: Roman Rusyaev <r.rusyaev@samsung.com>

[coco] Use intuitive variable name in Window2D test (#1724)

Window2D test currently uses a counter-intuitive name for some
variables.

This commit renames such variables.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Remove deprecated methods (#1722)

This commit removes deprecated methods that was introduced for
Object-level data managment.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Update Global only from CppCode (#1723)

With this commit, Global is updated only inside CppCode.
 - SubnetStructBuilder no longer updates Global.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Replace link with allocate (#1721)

This commit replace deprecated methods such as Data::allocate and
PlainWeightContext<T>::link with PlainWeightContext<T>::allocate.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Invoke detach from each Child class (#1713)

* [coco] Invoke detach from each Child class

The current implementation invokes 'detach' inside the destructor of Node.

Unfortunately, this may result in undefined behavior as detach may access the
internal of Child class (through leaving hook), but Child class is already
destructed.

With this commit, unlink on destruction is the responsibility of each
Child class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Add a comment

[enco] Get Code from Session (#1720)

With this commit, enco Backend class no longer declares Code variable.
Instead, it accesses the Code entity through Session.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Eliminate Objects with no backing bag (#1719)

This commit allows Dead Object Elimination (DOE) pass to eliminate
objects with no backing bag (if it has no uses).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Clone Bag if possible (#1718)

The current implementation of 'clone' method always tries to clone
an object along with its backing bag.

With this commit, 'clone' method clones its backing bag only when
there is a backing bag for a given object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco.generic] Introduce allocate for KernelObject (#1715)

This commit introduces allocate method in PlaingWeightContext as the
first step toward Bag-level data management.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Deprecate Layout manipulation via KernelObject (#1714)

This commit removes layout manipulation methods from KernelObject.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove unused make_sequence_map (#1717)

make_sequence_map is no longer used as coco IR now provides InstrIndex
and BlockIndex.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Remove Object Hoist pass from pipeline (#1716)

Recently introduced lightweight Identical/Duplicated Object Reduction
passes replace this heavy Object Hoist pass.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>