[CPU] Add explicit storage for MemoryNode (#895)

TypeRelaxed implementation (#1561)

* RTTI base for ngraph::Node; cherry-pick from another branch, draft

* Added comments, moved code, switched to custom RTTI-based version of is_type

* Move rtti definitions in ngraph op class to the beginning of each class definition as a preparation for the next replacement

* Migrate part of operations to new RTTI

* Migrate GroupConvolution and Concat to new RTTI

* Apply code style for ngraph part

* Rename RTTI_DECLARATION/DEFINITION to NGRAPH_RTTI_DECLARATION/DEFINITION

* Reverted accidentally updated version of mkldnn

* TMP: rewrite RTTI back to constexprions as an attempt to fix static objects initialization order issue

* Apply ngraph code style

* Finalize move back to constexpr for RTTI

* Applied code-style

* TypeRelaxed template class implementation and necessary changes in ngraph + tests.

* Applied code-style

* Fix in fast algorithm in GraphRewrite, add new tests for this and other cases

* Make parent optional parameter for NGRAPH_RTTI_DECLARATION and remove Node::type_info; remove ability to have Node as a parent for type_info

* Try to resolve compilation error on Windows

* The next attempt to fix Windows build: re-introduce get_type_info_static

* Removed file that was removed in master and kept in this branch by mistake

* Next attempt to fix Windows build: externConstexpr

* Attempt to fix win build: extra public (suspect icc bug), remove get_type_info_static as useless.

* Next attempt to fix Windows: proxy const and constexpr

* Fixed constexpr

* Next attmpts: move get_type_info to cpp file

* Code stype fix

* Re-implemented RTTI without use of constexpr; run-time initialization is used; removed global definitions to avoid issues with order of static objects initialization

* Removed externConstexpr flag and removed TRANSFOMRATIONS_API for TypeRelaxed

* get_type_info_static initializes static local constant with type_info that is used for CLASS::type_info and CLASS::get_type_info

* Removed not needed debug output and useless comments

* Implemented better copy ctor for Node

* Fixed VisualizeTree issue for TypeRelaxed: stopped using < and > in type_info::name

* Better comments and names for methods

* Remove unused include

* Remove commented line

* Workaround for legacy conversion that uses Node::get_type_info().name as a type for the resulting CNNLayer leading to incorrect types for TypeRelaxed-based operations and then to fail in plugins

* Fixed typos, explicit ctor for TypeRelaxedBase, explanation for the need of get_overridden_output_type

* Fix typo

* Fixed issue with non-static name in type definition for TypeRelaxed and fixed WrapType to make it compatible with hierarchical relations between types

* Reverted default ctor for Output and reverted ability to reduce number of outputs for a Node; syntactically better debug message for a Node

* Cover methods of TypeRelaxedBase by tests

* Apply code-style

[IE][VPU][GT]: Fix different blobs for the same network (#1738)

* Use vector instead of unordered_map in order to get stable blob serialization.

Updated a link to MO FAQ (#1750)

Azure CI: Add Windows job with IncrediBuild (#1761)

[CPU] Disable quantize ranges validation in order to avoid regressions (#1720)

Remove some builders for old operations (#1736)

* Remove some builders

* Removed reshape v0 builder

* Fixed code style

nGraph passes clean up (#1742)

* Cleanup pass::Manager;Update VisualizeTree to inherit FunctionPass; Removed deprecated tranformations types

* Removed legacy code; Updated docs

Changed anchors (#1749)

Revert "Azure CI: Add Windows job with IncrediBuild (#1282)"

This reverts commit 41c5f2d2d67dc17c264ec54e2956fdda6c6efff9.

Azure CI: Add Windows job with IncrediBuild (#1282)

* Azure CI: Add Windows job with IncrediBuild

* Update IB version to 9.4.6

* Fix "Clone submodules"

* Update IB version to 9.5

* Update install link

* Add debug out

* Update debug out

* Remove debug out

* Disable initiator machine from acting as helpers

[GNA] fix scale factor issue in remove permutation test (#1740)

Improve SpaceToDepth tests (#1661)

Removed ngraph assertion (#1719)

Removed cpio (#1735)

Update issue templates

Removing wrong template

Update issue templates

removing wrong templates

Update issue templates

First version

Define a macro to define plugin creation function (#1727)

[IE CLDNN] Add asymmetric dw convolution improvements (#1251)

This change adds full support for asymmetric quantization to optimized
depthwise convolution, adds slm optimization and other minor
improvements.

Issue: CVS-25122

Add requirements_tf2.txt to package_BOM.txt (#1728)

Removed constant folding pass for reverse (#1716)

size_t on 32bit OS (#1721)

Merging Documentation updates for 2020.4 (#1672) (#1726)

[ MO ] Turning GNMT KSO OFF (#1718)

Unroll transformation for TensorIterator (#1259)

* unroll ti transformation, lstm sequence ie, rnn sequence ie

* Update unroll ti transformation, added GRUSequenceIE op, fixed several ti e2e tests

* apply ngraph codestyle

* fix naming after unroll transformation

* Added default constructor for RNNCellBase, fix conversions

* copy runtime info

* added UnrollTI unit tests

* clean up, move sequence ops in a separate PR

* clean up, ngraph code style

* temporary disable ngraph reader unit tests for ti

* fix unit tests on windows

* naming: use name of tensor after unroll tensor iteration transformation

* apply transformations to tensor iterator body, separate pass for ti transformations, fix naming issue

* fix build

* remove TensorIterationTransformations pass

* fix includes

* resolve conflicts

* fix build: incorrect includes

* remove split/concat for single iteration of TI, update to opset4, unit tests

* use matcher pass instead of graph rewrite

* try to enable UnrollTI transformation for all plugins

* disable unrollTI transformation for cpu plugin

* resolve review comments, enable unit tests

* update transformation description

* fix unit tests

* update transformation pipeline

* clean up

* clean up

* resolve review comments

Separate MO configuration for TensorFlow 2 model conversion (#1685)

* Separate MO configuration for TensorFlow 2 model conversion

Also, it updates documentation including steps to convert
TF2 model with a custom layer in Keras H5 format into SavedModel

* Do fixes based on the first-round code review

Improve DepthToSpace tests (#1659)

[Tools] Install compile tool to tool directory (#1649)

Make Clip work for dynamic input (#1666)

[nGraph] Create Python API support for rt_info (#1696)

[IE CLDNN] Enabled fsv16 asymmetric first conv (#1372)

Remove GetOutputElement op (#1604)

[GNA] Support of NHWC conv2d with N=1 H=1 and 1xk Kernel (#1209)

* [GNA] Support of NHWC conv2d with N=1 H=1 and 1xk Kernel

* [GNA] add test for comparing optimization outputs & cpplint fixes

* fix getInputTo() & fix cpplint

* fix tests

* revert kernel padding

* add AddConvolutionKernelPadPass & refactor

* cpplint fix

* fix CI issues & add layout sensitive dimensions

* move kernel padding issue to another branch

* add more legible error descriptions

* fix legacy tests & disable 3d input convolution tests

* change comment messages

* fix additional convolution kernel padding for PWL case

[IE CLDNN] Fix reshape for yxfb layout (#1632)

In one of the network it was the following pipeline:
```
FullyConnected -> Reshape -> FullyConnected
```
And the output of Reshape wasn't in the same order as input for this
layer. I found that the problem was connected with format of the layers.
During optimization passes this pipeline was transformed to the
following:
```
FullyConnected -> Reorder -> Reshape -> Reorder -> FullyConnected
```
Both `FullyConnected` layers works with `yxfb` format.  This is why
Reorder layer after the Reshape has output layout with format `yxfb` and
`reshape_in_layout.format` returns `yxfb` format. But in this case we
have to convert Reshape to `bfyx` format because in this case we won't
change the order of elements.
I replaced `reshape_in_layout.format` (which returns `yxfb`) and
explicitly set `bfyx` format.

JIRA: 35288

[GNA] Bump GNA2 version to 1047 (#1629)

[GNA] Remove empty PWL (#1224)

[GNA] Add Basic_LSTM_S test (#805)

* add Basic_LSTM_S test

* add comparing with model with unrolled TI

* move computing reference output to overridden CalculateRefs()

Removed CNNNetwork BlobTransformer (#1709)

* Removed CNNNetwork BlobTransformer

* Removed inference_engine_lp_transformations dependency for GNA and VPU plugins

[GNA] Fixes in checks, asserts, etc. (#903)

Changed structure of nGraph core library (#1658)

Enable Model Zoo in OpenVINO-ONNX CI (#1660)

HSwish operation specification (#1708)

* HSwish specification init

* Update docs/ops/activation/HSwish_4.md

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* Update docs/ops/opset4.md

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

[IE CLDNN] Gemm fp16/fp32 optimized kernel (#1646)

[ MO ] Fixed layout interpretation for 4/5D tensors calculated from ShapeOfs (#1634)

Fixed access to the data of FP16 IRs with nGraph Python API (#1707)

Moved plugin-specific utils from blob_factory.hpp (#1710)

Add python executable for RPI compilation Docker (#1530)

[MO] Support ONNX QuantizeLinear (#1451)

* [MO] Support ONNX QuantizeLinear

* Update docs

* Fix cast type

* Fix error messages

Moved legacy API to legacy/ subfolder for include (#1677)

Removed onnx_import folder from src (#1706)

Changed ICNNNetwork to CNNNetwork in QueryNetwork (#1704)

Fixed input/output shape initialization (#1695)

* Fixed input/output shape initialization

* Use template_extension library in tests

Removed transformations _tbl.hpp files (#1700)

Enable swish (#1682)

* Draft version of the Swish nGraph operation and fusing transformations for different approaches to express the operation

* Swish fusing transformation refactoring

* Added Swish operation and extractor for TF. Removed unfolding transformation for the operation.

* Added SwishIE. Implemented transformation to convert Swish to SwishIE.

* Code style fixes

* Updated Swish reference implementation. Added tests for shape and value inference

* Fixed code style for Python API

* Fixed unit test

* Apply review comments

* Use matcher_pass_callback

* Make m_alpha attribute protected in the SwishIE operation

* Fixed Swish op PythonAPI test

Fixed CPU performance (#1702)

[ MO ] Extended Const->Result replacer (#1688)

* [ MO ] Extended Const->Result replacer

[GNA] Fix cases when Gna2ModelGetLastError() returns unknown error (#1255)

Co-authored-by: kmagiers <kmagiers@intel.com>

Extend dynamic shape support for ops which use auto padding mode (#1432)

Check if input of Unsqueeze is parameter during NopElimination (#1622)

Test calculation output shape for Broadcast op, relax restrictions for partially dynamic input data  (#1247)

[GNA] Remove old GNA1 from Cmake scripts (#1686)

[CPU] Added Mish activation (#1555)

[ KALDI ] Disable KSO (#1689)

remove TestMode restriction for batchnorm in Kaldi (#1697)

Reshape able slice (#1241)

* Added Caffe Slice_ext

* Added TFSlice, AttributedSlice (both with extractors and replacers), corrected SliceConverter and added unittests for all cases

* added comments to each type of Slice operation; optimized shape inference; moved mxlice inside of slice.py; renamed slice_replacers

* removed type annotation for get_shape_after_slice routine

* replaced zeros_like with zeros

* Corrected preserving node names, renamed attributes names, added tests fro slice_replacer onnx phase

* Renamed slice_replacers.py

* added more unittest cases

* added type annotations, moved to more relevant place routines for shape calculation, and some other minor corrections

* corrected a typo `normalize_slice_indices` comment

* corrected shape calculation for Nonconstant inputs

* corrected a few typos

* corrected type declarations

* corrected shape inference with rounding

* refactored unit-tests for front transforms of Slice

* added error raising for negative and zero shapes

* removed magic_num

* corrected AttributedSlice, clarified comments

* fixed unit-test for AttributedSliceToSlice

* typo in type hints corrected

* removed supported_attrs

* returned back default None for attrs of Slice

Performance counters for nGraph and additional ITT libraries on Linux (#1665)

Updated ConvertPrecision transformation to be executed for TI Body (#1673)

* Updated ConvertPrecision transformation to be executed for TI Body

* Added type fusion for GenericIE operation

* Added test for TensorIterator body precision conversion

Move downgrade passes to pass folder (#1675)

[NGraph] Add scatterNDUpdate and scatterUpdate reference implementations (#1494)

[IE CLDNN] Extend resample int8 packing optimization (#1662)

This extends resample optimization for 8-bit types that uses feature
packed to mode to process multiple features in one work-item to features
not being multiple of packing factor.

For nearest resampling it is safe to copy extra feature padding for
blocked formats, so this change only removes this condition.

docs contribution guides (#1535)

* docs contribution guides

* Fixed link to documentation_guidelines.md

Co-authored-by: Alexander1 Trifonov <alexander1.trifonov@intel.com>
Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

Add convert GluonCV docs (#1413)

* Add convert GluonCV docs

Add mxnet extractors (#1667)

* Add mxnet extractors for hyperbolic functions

Moved frontends to separate folder (#1657)

Added compilation of Plugin API headers with strict flags (#1654)

* Minimized ngraph headers inclusion

* Added compilation of plugin api headers with strict flags

* Fixed -WPedantic issue in ngraph headers

* Fixed compilation

* Trying to fix Windows

* Fixed GNA unit tests compilation

* Disabled WX test on Windows

Enable ngraph python tests in OpenVINO-ONNX CI (#1603)

* Enable ngraph python tests

* Refactor and unify ngraph with onnx python tests

* Revert deprecated test cases

* Set ngraph and onnx python tests as a one test suite execution

* Change unstrict Xfails to strict ones

* Update after review:
 - add model zoo to onnx tests,
 - improvements of tests

* Revert mounting zoo models dir

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

[CPU] Add support 4th and 5th input DetectionOutput (#1290)

* [CPU] Add support 4th and 5th input DetectionOutput

* fix any comments

* move reference to ngraph

* some changes for mx nms

* change namespace for ref impl

Moved caseless to Plugin API (#1664)

Initial nGraph Transformations type info (#1635)

Link CMAKE_DL_LIBS to IE (#1663)

Add mish fusion transformation (#1399)

* Add mish fusion transformation

* Add mish op to python api

Add CTCLoss op to nGraph Python API (#1642)

[CPU] Add check to reduce for scalar dims (#1577)

Fixed extractor for MVN from ONNX (#1653)

* Fixed extractor for MVN from ONNX

* Updated MVN extractor from ONNX

* Code style

ENABLE_PROFILING_ITT option is ignored if ITT library not found (#1647)

Reduce number of ops generated by ngraph::pass::BatchNormDecomposition (#1569)

Number of ops went down by 4.
Also fewer floating point operations improves precision here, so we're able
to unblock some test cases from ngraph's suite.

Implement unicode conversion using Windows native functions (#1590)

* Implement unicode conversion using Windows native functions

* NOCPPLINT

* Fixed deprecated c++ api usage in tests

* Moved impl to cpp

* Moved Unicode utils to Plugin API

* Added missed include for Windows

* Fixes for unit tests; CentOS fixes

* Fixed Windows compilation

* Fixed unit tests on Unix

* Fixed unix 2

[PP GAPI] - U16toF32 conversion kernel (#1298)

- the kernel itself is not yet used in the Preprocessing graph
- tests

Removed not-used file utils (#1644)

Moved QueryNetworkResult to ie_common.h (#1648)

Remove JSON serializer (#1638)

[IE CLDNN] Add push / pop macro for OpenCL header (#1645)

Add support for /INTEGRITYCHECK flag on Windows (#1390)

* Build dlls with INTEGRITYCHECK flag if ENABLE_INTEGRITYCHECK=ON

INTEGRITYCHECK flag enforces digital signature before loading the binary in Windows.
Also, refine /guard:cf flag enabling - MSCV, Intel, clang compilers does support /guard:cf.

Azure CI: Update metadata API version (#1652)

* Azure CI: Update metadata API version

* Set -NoProxy

* Fix issue

[IE CLDNN] Support IC={1,2,4} in the first convolution kernel (#1583)

[IE][VPU][GT]: Added support for SoftPlus & Swish layers (#1612)

* Implement SoftPlus stage
* Implement Swish stage

[IE CLDNN] Implement nGraph function support in QueryNetwork() (#1601)

Updated documentation for HETERO plugin (#1643)

Refactored nGraph operator tests to use TestCase (#1623)