ExtractImagePatches MO implementation and nGraph transformation (#739)

[ MO ] Random Uniform Replacer (#1814)

LoadNetwork interface: executable network is returned as return value (#1840)

* LoadNetwork interface

* Added reference to SOPointer to returned ExecutablNetwork

* Fixed test

[LPT] Symmetric quantization support for efficientnet-b0 (#1773)

* [LPT] Symmetric quantization for efficientnet-b0

* [LPT] zero point calculation fix

Co-authored-by: Zinoviev, Vladimir <vladimir.zinoviev@intel.com>

[IE CLDNN] Use fsv4 instead of af32 layout for imad case (#1784)

Fixed path for pad reference impl (#1846)

[IE CLDNN] added fusing support for ref and b_fs_yx_fsv16 implementations (#1692)

Enable HSwish - ngraph op, fusion/decomposition and reference implementation (#1770)

* Add HSwish operator to nGraph

* Add HSwishFusion transformation

* Update check_constant function

* Add reference implementation for HSwish

* Enable reference implemenation in HSwish evaluate

* Add op_eval test

* HSwish fusion transformation test

* Add HSwishFusionWithoutRelu transformation

* Add more hswish fusion tests

* Register HSwishFusion pass in common_optimizations

* Update HSwish reference implementation

* Add HSwishFusion with Relu and Multiply

* Add HSwishDecomposition transformation pass

* Add HSwishDecomposition test

* Add HSwish op to ngraph python API

* Update HSwish fusion transformations

* Remove HSwishFusion from common optimizations

* Update hswish python API

* Add bf16 to evaluate hswish

* Update hswish python API

* Move hswish reference implementation

* UnaryElementwiseArithmetic inheritance

* Enable HSwish callback for clDNN

* Register HSwishDecomposition pass in ConvertOpSet1ToLegacy

* Enable HSwishFusion pass in common optimizations

* Use NGRAPH_RTTI_DECLARATION

* Moved python hswish test to the test_ops_unary

Add Range-4 support (#1552)

* Add Range-4 support

* Add type infer and IR Reader extender

* Implement ngraph Range-4

* Implement evaluate for Range-4

* Remove not needed types

* Resolve review feedback

* Add RTTI defines

Remove ngraph::Lambda class, replace TensorIterator body with ngraph::Function (#1830)

* remove Lambda class, replace TensorIterator body with ngraph::Function

* Fix passing parameters from parent graph to subgraph

Co-authored-by: mbencer <mateusz.bencer@intel.com>

Return serialization to IR v7 under conditional compilation (#1820)

Fixed set/get batch size logic for scalar inputs (#1837)

Optimize Concat operation (#1812)

* 1d case optimization

* code refactor

* concat optimization

* removed using template for concat

* unit tests to concat constant folding

* synchro with current master

Convert Pad to GroupConvolution transformation (#1826)

* Added ConvertPadToConvolution pass

* Removed NasNet transformation from MO

* Renamed Conv to GroupConv; Added tests

* Fixed typo; Added RTTI

Ngraph: hide itt.hpp to src (#1834)

* Use proper include for log.hpp

* Hide itt.hpp to src folder

* Removed CodeWriter

[GNA] Implement ImportNetwork from stream (#1743)

* add ImportNetwork from stream

* add test for importing network from stream

Merge changes from 2020.4.0.1 (#1809)

* [GNA] Propagate QoS timeout to the calling app (#1188)

* [GNA] Support timeout value set in Wait (#1499)

* [GNA] stored request id for completed sync infer request in order to get status later using wait() (#1458)

* stored request id for completed async infer request in order to get it's status later

* preserved status not started for multiple sequential calls to wait()

Co-authored-by: Denis Orlov <denis.orlov@intel.com>
* [GNA] Fix callbacks (#1607)

Co-authored-by: Eugene Smirnov <eugene.smirnov@intel.com>

Add arithmetic operators for bfloat16 (#1831)

Fix a specification for CTCLoss operation (#1786)

v1::Pad evaluator (#1771)

* v1::Pad reference implementation

* ut fix: pad_negative_exterior_1d

* ut fix: pad_negative_exterior_1d_check_limits & pad_edge_1d

* Code formatting

* ut fix: pad_edge_1d_top_neg & pad_edge_1d_top_neg_bigger_than_tensor

* More Pad UT fixes

* Pad UT fixes: REFLECT mode

* Fix all Pad UTs

* Switch Pad evaluation in INT backend

* Non-template solution to v1::Pad::evaluate

* Always create v1::Pad with 4 inputs

* VS compilation error fix

* Python test fix

* Remove the v0::Pad constant folding pass

* Some extra checks in v1::Pad evaluator

* Code formatting

* Remove an obsolete CF test

Add ONNX Round op (#1605)

[IE][VPU]: Reverts nGraph TI Unrolling for VPU (#1824)

[IE][VPU]: Fixed MX firmware memory type patching (#1825)

Fixing Myriad X firmware loader after RTEMS 5 related changes merged into MDK
* Fixed MX firmware memory type patching
* Update firmware
* disable myriadMultipleGraphsTests_nightly

Co-authored-by: Chekhonin Andrey <andrey.chekhonin@intel.com>

ConvertPrecision for element::boolean (#1772)

* Added bool to u8 conversion

* Added opset1::ShapeOf handler

* Added ReduceLogicalAnd/Or support in ConvertPrecision pass

* Moved static map inside function; Updated callbacks

* Removed header

* Fixed tyle relaxed for cases when the same output consumes by multiple inputs in the same operation; added tests; fixed input types setting for already created type relaxed operations

Java bindings (#506)

* java bindings added

* bulid saples alongside with IE build

* fixes

* fixes

* fixed comments

* fixes

Removed NGRAPH_API from reference library (#1821)

[FIX] Fix data layout for reshaped network (#1748)

* [FIX] Fix data layout for reshaped network

* [PATCH] Don't change compatible layouts

* Add UT for reshaped network

* FIX no. 1

Add static library with nGraph reference implementations (#1810)

* Removed reference implementations from public API

* Remove coordinate_transform from public API

* Introduced static library with reference implementations

Extend MO for operation CTCLoss and partly refactor CTCGreedyDecoder (#588)

* Extend MO for operation CTCLoss

* Change sequence length format to a mask format

* Add fixes after first-round review

* Add fixes after the second-round review

* Fixing CTCLossPlusCTCGreedyDecoder transformation

[IE][VPU]: Refactor vpu configs (#1334)

* [IE][VPU]: Refactor vpu configs

* [IE][VPU][GT]: Refactor vpu configs usage in GT

* [IE][VPU]: Refactor vpu configs usage in myriad plugin

* [IE][VPU]: Refactor vpu configs usage in tests

* [IE][VPU]: Refactor vpu configs usage in deprecated_tests

* [IE][VPU]: Refactor vpu configs usage in tools

* [IE][VPU]: Use hddl metric vars instead of macros

* [IE][VPU]: style fixes

* [IE][VPU]: Replace MYRIAD_FORCE_RESET with MYRIAD_ENABLE_FORCE_RESET

* [IE][VPU]: Resolve confilcts with MYRIAD_TILING_CMX_LIMIT_KB

* [IE][VPU]: Remove MYRIAD_PLATFORM from tools

* [IE][VPU]: Fix DISABLE_REORDER config in StridedSlice

* [IE][VPU]: Redesign config headers hierarchy

* [IE][VPU]: Clarify comments related to vpu configs

* [IE][VPU]: Leave default values of deprecated configs

* [IE][VPU]: Revert beh tests on VPU_MYRIAD_PLATFORM

* [IE][VPU]: Revert beh tests with deprecated configs

* [IE][VPU]: Resolve conflicts

* [IE][VPU]: Revert opencv dependency

Enable ReduceL1 and ReduceL2 operations (#1799)

* Initial version of ReduceL1, ReduceL2 and ReduceLp enabling in the MO

* Added operations ReduceL1 and ReduceL2 to nGraph

* Removed ReduceLp. Added ReduceL1 and ReduceL2

* Separated specification of ReduceLp into ReduceL1 and ReduceL2

* Updated ReduceL1 and ReduceL2 specification

* Fixed ReduceL1 and ReduceL2 type prop tests

* Implemented nGraph transformation to decompose ReduceL1 and ReduceL2. Disabled them for CPU and GPU plugins

* Updated supported framework layers

* Added unit tests for ReduceL1 and ReduceL2 reference implementation

* Fixed ReduceXXX operations reference implementation by adding support for a new parameter 'keep_dims'

* Fixed constant folding for v0::Any

* Added ReduceL1 and ReduceL2 to Python API

* Implemented ReduceL1 and ReduceL2 decomposition tests and fixed ReduceL2 decomposition

* Added specific creator for ReduceXXX operations instead of NodeBuilders

* Fixed conversion ReduceXXX to CNNLayer

* Fixed parser for ReduceLogicalXXX operations

[IE CLDNN] Export runtime graph as nGraph function (#1684)

FGTT for CF (#1792)

* Added FGTT for ConstantFolding

* Added test for CF disabling

Fix problem with renaming outputs from network (#1546)

[IE CLDNN] All input layouts support in ref pooling (#1782)

[CPU] fix conv + concat case and add tests (#1747)

Removed template headers for Fused Ops (#1780)

[Python API] Deprecate IENetLayer class (#1731)

* [Python API] Deprecate IENetLayer class

* update samples

* undo changes in samples

[IE CLDNN] Set arguments once (#1699)

Add reference implementation to VariadicSplit (#1698)

* implementation of variadic split ref impl

* Added tests

* added unit tests

* refactor

* review remarks

* fixed ie tests

[IE][VPU][GT]: fix pool 3d to 2d reduction (#1760)

* Fix minor error in pooling 3D to 2D conversion

[IE CLDNN] Gemm floating point unit-tests fix (#1797)

[IE CLDNN] Fix for DepthToSpace fusing into convolution (#1724)

[NGraph] CTCLoss reference implementation. (#1453)

Remove nGraph layout (#1763)

add preliminary support of Proposal-4 in nGraph (#1448)

renamed logits -> bbox_deltas

updated ngraph unittests for Proposal

removed validate_and_infer_types Proposal-4

removed validate_and_infer_types Proposal-4

changed validate_and_infer_types in parent class of Proposal

removed get_output_size

successfully inferred Proposal on SSH and Faster-RCNN

added unittests for Proposal-4

added unittests for Proposal-4

added unittests for Proposal-4

returned back default namespace for Proposal

reduced number of outputs in v0::Proposal

correct conversion of Proposal-4 -> propodal_ie with 2 outputs

removed creator for proposal v0

removed converter for proposal v0

added Proposal-4 to MO

removed `for_deformable` attribute

added Proposal-4 to MO and nGraph Python API

removed typo in Proposal-4 specification

style corrections

style corrections and removed some redundant code

rename proposal Python api test

removed 'attrs' context from visitor

returned back AttrVisitor to check if passes OpenVINO ONNX pipeline

Should pass OpenVINO ONNX pipeline (returned back AttrVisitor just to check)

python api for Proposal-4 works ok

(style correction) python api for Proposal-4 works ok

parametrized proposal_ie some other corrections

removed 'attrs.' context from nGraph Python API tests for Proposal

minor corrections in replacer proposal->proposal_ie

corrected Python API OpenVINO-ONNX tests should pass

Improved workaround for AttributeVisitor for Proposal

Add additional check of im_info tensor shape to Proposal node in MKLDNNPlugin

😠 removed 4 extra spaces from test_dyn_attributes.py to match The Style

added new nGraph RTTI declarations, removed throwing exception in transformation

added new nGraph RTTI declarations, removed throwing exception in transformation, corrected exception in MKLDNNplugin

corrected im_info size checking in Proposal node of MKLDNNPlugin

Added split test into template plugin (#1669)

* Added split test into template plugin

* Fixed split test

* Fixed test parameters style

Azure CI: Pipeline improvements (#1790)

* Azure CI: Pipeline improvements

* Fix checkout

* Fix path

* Fix "Install IncrediBuild"

* Add "submodules: recursive"

* Fix test run

* Fix work dir

* Fix issue

* Increase timeout

Added OpenVINO Get Started Guide for Windows (#1631)

Removed deprecated MulAddFusion pass (#1789)

[IE][VPU][GT]: Add pass for marking fast stages (#1579)

It was discovered that it is sometimes useful to mark fast stages (e.g. stages that process less than 100 elements) in order to be able to parse them from final performance report and estimate its contribution into performance.
* Added pass for marking fast stages
* Introduced unit tests

[IE CLDNN] Disable non-performant fp32 batches FC layer (#1737)

[IE CLDNN] dp4a check that works both with old and new drivers (#1766)

opset4 Convolution/GroupConvolution -> Multiply fusion (#1754)

* Added new predicates for smart pattern matching

* Added ConvMul and GroupConvMul fusion passes based on opset4; Added CPU functional tests for comparing fusion accuracy

* Improved ConvMultiply fusion to support scalars; Added positive and negative tests

* Added ConvolutionBackprop/GrouConvolutionBackprop Multiply fusion; Added functional tests

Simplified plugin interfaces (#1745)

* Simplified plugin interface

* Allow not implemented

* Fixes

* Fixed CPU plugin tests

* Fixed tests dependencies

* Fixes

* Fixed GPU plugin compilation

* Renamed plugin

* Fixes

* Removed tests for plugin base

* Fix2

* Fix 2

* Define a macro to define plugin creation function

* Clean-up

* Fixed OSX build

* Fixed CentOS

* Fixed exception catch / throw

* Fixed clang issue

* Fixed python tests on macOsx

Add asinh acosh atanh to python api (#1488)

* Add asinh acosh atanh to python api

Deprecate FusedOp class (#1758)

* Deprecate FusedOps

* Try to fix windows

* Added temp headers

Azure CI: Add IncrediBuild option: /MaxCPUS=40 (#1779)

* Azure CI: Add IncrediBuild options: /ShowTime /StopOnErrors /MaxCPUS=62

* set 48 cores

* Remove /StopOnErrors

* Set 40 cores

Updated mock interfaces in tests (#1762)

* Updated mock interfaces in tests

* Added mock_engine dependency

[nGraph] Add Manager to Py API (#1533)

* Added test

* working ManagerWrapper

* Clean-up in ManagerWrapper

* worksave

* fixed building error

* Finished test of constant folding

* remove unused param

* Added get_vector function

* clean up

[CPU] Add explicit storage for MemoryNode (#895)

TypeRelaxed implementation (#1561)

* RTTI base for ngraph::Node; cherry-pick from another branch, draft

* Added comments, moved code, switched to custom RTTI-based version of is_type

* Move rtti definitions in ngraph op class to the beginning of each class definition as a preparation for the next replacement

* Migrate part of operations to new RTTI

* Migrate GroupConvolution and Concat to new RTTI

* Apply code style for ngraph part

* Rename RTTI_DECLARATION/DEFINITION to NGRAPH_RTTI_DECLARATION/DEFINITION

* Reverted accidentally updated version of mkldnn

* TMP: rewrite RTTI back to constexprions as an attempt to fix static objects initialization order issue

* Apply ngraph code style

* Finalize move back to constexpr for RTTI

* Applied code-style

* TypeRelaxed template class implementation and necessary changes in ngraph + tests.

* Applied code-style

* Fix in fast algorithm in GraphRewrite, add new tests for this and other cases

* Make parent optional parameter for NGRAPH_RTTI_DECLARATION and remove Node::type_info; remove ability to have Node as a parent for type_info

* Try to resolve compilation error on Windows

* The next attempt to fix Windows build: re-introduce get_type_info_static

* Removed file that was removed in master and kept in this branch by mistake

* Next attempt to fix Windows build: externConstexpr

* Attempt to fix win build: extra public (suspect icc bug), remove get_type_info_static as useless.

* Next attempt to fix Windows: proxy const and constexpr

* Fixed constexpr

* Next attmpts: move get_type_info to cpp file

* Code stype fix

* Re-implemented RTTI without use of constexpr; run-time initialization is used; removed global definitions to avoid issues with order of static objects initialization

* Removed externConstexpr flag and removed TRANSFOMRATIONS_API for TypeRelaxed

* get_type_info_static initializes static local constant with type_info that is used for CLASS::type_info and CLASS::get_type_info

* Removed not needed debug output and useless comments

* Implemented better copy ctor for Node

* Fixed VisualizeTree issue for TypeRelaxed: stopped using < and > in type_info::name

* Better comments and names for methods

* Remove unused include

* Remove commented line

* Workaround for legacy conversion that uses Node::get_type_info().name as a type for the resulting CNNLayer leading to incorrect types for TypeRelaxed-based operations and then to fail in plugins

* Fixed typos, explicit ctor for TypeRelaxedBase, explanation for the need of get_overridden_output_type

* Fix typo

* Fixed issue with non-static name in type definition for TypeRelaxed and fixed WrapType to make it compatible with hierarchical relations between types

* Reverted default ctor for Output and reverted ability to reduce number of outputs for a Node; syntactically better debug message for a Node

* Cover methods of TypeRelaxedBase by tests

* Apply code-style

[IE][VPU][GT]: Fix different blobs for the same network (#1738)

* Use vector instead of unordered_map in order to get stable blob serialization.

Updated a link to MO FAQ (#1750)

Azure CI: Add Windows job with IncrediBuild (#1761)

[CPU] Disable quantize ranges validation in order to avoid regressions (#1720)

Remove some builders for old operations (#1736)

* Remove some builders

* Removed reshape v0 builder

* Fixed code style

nGraph passes clean up (#1742)

* Cleanup pass::Manager;Update VisualizeTree to inherit FunctionPass; Removed deprecated tranformations types

* Removed legacy code; Updated docs

Changed anchors (#1749)

Revert "Azure CI: Add Windows job with IncrediBuild (#1282)"

This reverts commit 41c5f2d2d67dc17c264ec54e2956fdda6c6efff9.

Azure CI: Add Windows job with IncrediBuild (#1282)

* Azure CI: Add Windows job with IncrediBuild

* Update IB version to 9.4.6

* Fix "Clone submodules"

* Update IB version to 9.5

* Update install link

* Add debug out

* Update debug out

* Remove debug out

* Disable initiator machine from acting as helpers

[GNA] fix scale factor issue in remove permutation test (#1740)

Improve SpaceToDepth tests (#1661)

Removed ngraph assertion (#1719)

Removed cpio (#1735)

Update issue templates

Removing wrong template

Update issue templates

removing wrong templates

Update issue templates

First version

Define a macro to define plugin creation function (#1727)

[IE CLDNN] Add asymmetric dw convolution improvements (#1251)

This change adds full support for asymmetric quantization to optimized
depthwise convolution, adds slm optimization and other minor
improvements.

Issue: CVS-25122

Add requirements_tf2.txt to package_BOM.txt (#1728)

Removed constant folding pass for reverse (#1716)

size_t on 32bit OS (#1721)

Merging Documentation updates for 2020.4 (#1672) (#1726)

[ MO ] Turning GNMT KSO OFF (#1718)

Unroll transformation for TensorIterator (#1259)

* unroll ti transformation, lstm sequence ie, rnn sequence ie

* Update unroll ti transformation, added GRUSequenceIE op, fixed several ti e2e tests

* apply ngraph codestyle

* fix naming after unroll transformation

* Added default constructor for RNNCellBase, fix conversions

* copy runtime info

* added UnrollTI unit tests

* clean up, move sequence ops in a separate PR

* clean up, ngraph code style

* temporary disable ngraph reader unit tests for ti

* fix unit tests on windows

* naming: use name of tensor after unroll tensor iteration transformation

* apply transformations to tensor iterator body, separate pass for ti transformations, fix naming issue

* fix build

* remove TensorIterationTransformations pass

* fix includes

* resolve conflicts

* fix build: incorrect includes

* remove split/concat for single iteration of TI, update to opset4, unit tests

* use matcher pass instead of graph rewrite

* try to enable UnrollTI transformation for all plugins

* disable unrollTI transformation for cpu plugin

* resolve review comments, enable unit tests

* update transformation description

* fix unit tests

* update transformation pipeline

* clean up

* clean up

* resolve review comments

Separate MO configuration for TensorFlow 2 model conversion (#1685)

* Separate MO configuration for TensorFlow 2 model conversion

Also, it updates documentation including steps to convert
TF2 model with a custom layer in Keras H5 format into SavedModel

* Do fixes based on the first-round code review

Improve DepthToSpace tests (#1659)

[Tools] Install compile tool to tool directory (#1649)

Make Clip work for dynamic input (#1666)

[nGraph] Create Python API support for rt_info (#1696)

[IE CLDNN] Enabled fsv16 asymmetric first conv (#1372)

Remove GetOutputElement op (#1604)

[GNA] Support of NHWC conv2d with N=1 H=1 and 1xk Kernel (#1209)

* [GNA] Support of NHWC conv2d with N=1 H=1 and 1xk Kernel

* [GNA] add test for comparing optimization outputs & cpplint fixes

* fix getInputTo() & fix cpplint

* fix tests

* revert kernel padding

* add AddConvolutionKernelPadPass & refactor

* cpplint fix

* fix CI issues & add layout sensitive dimensions

* move kernel padding issue to another branch

* add more legible error descriptions

* fix legacy tests & disable 3d input convolution tests

* change comment messages

* fix additional convolution kernel padding for PWL case

[IE CLDNN] Fix reshape for yxfb layout (#1632)

In one of the network it was the following pipeline:
```
FullyConnected -> Reshape -> FullyConnected
```
And the output of Reshape wasn't in the same order as input for this
layer. I found that the problem was connected with format of the layers.
During optimization passes this pipeline was transformed to the
following:
```
FullyConnected -> Reorder -> Reshape -> Reorder -> FullyConnected
```
Both `FullyConnected` layers works with `yxfb` format.  This is why
Reorder layer after the Reshape has output layout with format `yxfb` and
`reshape_in_layout.format` returns `yxfb` format. But in this case we
have to convert Reshape to `bfyx` format because in this case we won't
change the order of elements.
I replaced `reshape_in_layout.format` (which returns `yxfb`) and
explicitly set `bfyx` format.

JIRA: 35288

[GNA] Bump GNA2 version to 1047 (#1629)

[GNA] Remove empty PWL (#1224)

[GNA] Add Basic_LSTM_S test (#805)

* add Basic_LSTM_S test

* add comparing with model with unrolled TI

* move computing reference output to overridden CalculateRefs()

Removed CNNNetwork BlobTransformer (#1709)

* Removed CNNNetwork BlobTransformer

* Removed inference_engine_lp_transformations dependency for GNA and VPU plugins

[GNA] Fixes in checks, asserts, etc. (#903)