Added BatchNormInference tests (#1927)

Deprecated migration to Core guide (#1910)

[IE][VPU]: Update firmware (#1915)

* Firmware update contains changed conditions for removing inner dimension with length 1 in Permute kernel

[IE][VPU]: Fix KW issues on Linux (#1916)

* nullptr dereference fixed in Concat and Reduce stages in Graph Transformer
* missed parameters in asserts in StridedSlice stage was added

[LPT] BLOCKED layout ignoring (#1873)

* [LPT] BLOCKED layout ignoring

* [LPT] Permute transformation tests

* [LPT] Tests rework

[CPU] Added H-Swish activation (#1445)

Reference implementation for ScatterUpdate (#1678)

* Reference implementation for ScatterUpdate and use of it in evaluate.

* Review comments. Clarify comments.

* Update file directory.

* Replace scatter_update reference implementation in ngraph/core/reference/

* Remove template code from ScatterUpdate reference implementation

* Apply review requests

Co-authored-by: mitruska <katarzyna.mitrus@intel.com>

[LPT] GemmTransformation usage fix (#1899)

v0::Pad operator removal (#1912)

* v0::Pad operator removal

* Obsolete test removal

[GNA] Change GNA library version to 1047.1 (#1867)

Disable eager execution affecting TensorFlow 1 concept model handling (#1914)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Fix concat in place with conv interactions (#1714)

This change fixes concatenation in place optimization where it may
interact with convolution that uses physical padding.
One of such cases is where input to optimized concatenation is also
input to convolution, so it should have padding to enable optimized
implementation.
Previously for all concatenation inputs padding was overriden with only
concatenation axis being padded.
This change fixes this issue by propagating padding across inputs and
output.

Add reshaping of dynamic network in python tests (#1850)

[Python API] Deprecation of DataPtr.creator_layer and DataPtr.input_to properties (#1905)

Partial revert a commit with reference implementations of PriorBox(Clustered) ops (#1878)

* partial revert a commit with reference implementations of PriorBox(Clustered), disable references for this ops

* ngraph codestyle

* disable const folding unit tests for PriorBox(Clustered)

* fix arm build

* fix unit test

* Revert "fix unit test"

This reverts commit 1fe59e55d620c430e81c52edd3fc46f2b5b1a9b9.

[ MO ] Reinfer shape sub-graphs once (#1908)

* [ MO ] Reinfer shape sub-graphs once

* feedback

* feedback

Added test for Pad (#1902)

* Addded test for Pad

* Add builder

Fix Assign, Matmul ops for correct work with keep_shape_ops feature for Kaldi models (#1885)

* fix assign and matmul ops

* fix unit test

* static shapes by default for kaldi

[IE CLDNN] Enabled tensor pitches in topk kernel for 0 input (#1898)

[IE CLDNN] Forcing bfzyx format in MVN layer (#1903)

Reduce number of ops needed to create InstanceNorm (#1896)

* Reduce number of ops needed to create InstanceNorm

InstanceNorm in onnx importer creates the same subgraph for Mean twice - once for Variance and once for actual Mean.
This change makes InstanceNorm to use single Mean which is shared by numerator and Variance.

Also enables IE_CPU.onnx_model_instance_normalization test case

* Revert changes to .gitignore

[IE CLDNN] FP16 support for some quantized kernels (#1855)

Linux clang compilation error fix (#1891)

[ MO ] Change layout of Shape sub-graphs once (#1875)

* [ MO ] Change layout of Shape sub-graphs once

Accept empty initializers from ONNX models (#1776)

* Accept empty initializers from ONNX models

* Create dummy constants instead of null nodes

* Code formatting

* Test the empty initializers handling in onnx importer

[GNA] Additional checks (#1018)

Added detailed error messages for cases when network has dynamic shapes on the conversion moment (#1890)

Add method to classification_result for returning results (#1460)

Fix addOutput (#1888)

Azure CI: Enable all MklDnnFunctionalTests (#1881)

* Azure CI: Enable all MklDnnFunctionalTests

* Update azure-pipelines.yml

* Disable failed test on Mac: moke_MobileNet/ModelTransformationsTest.LPT/mobilenet_v2_tf_depthwise_batch1_inPluginDisabled_inTestDisabled_asymmetric*

Fixed error message for ONNX importer tests (#1880)

[JAVA] Changed blob costructor (using cArray) in samples (#1863)

Reuse make_executable_network in ImportNetwork (#1869)

* Reuse make_executable_network for ImportNetwork

* make_executable_network returns ExecutableNetwork cpp wrapper

Updating ADE version (#1877)

- Fix gcc 9 build warnings

[IE CLDNN] Add 3d spatials support to conv & pool imad kernels and unblock any in/out feature sizes (#1693)

ONNX ScatterND MO support (#1813)

* Added extractor for ONNX operation ScatterNDUpdate

* Updated list of supported operations for ONNX

[IE TESTS] Added single layer tests HSwish (#1861)

[IE][VPU]: Execution graph via ngraph for VPU plugin (#1572)

* Execution graph via ngraph for VPU plugin
* Enable ExecGraphTests
* Assert throw for multi device in tests
* Assert throw for gna device in tests

[ MO ] FloorDiv replacement (#1860)

* [ MO ] FloorDiv replacement

* BOM file

* Review comments

* FloorDiv in SupportedFrameworkList.md

Remove Structural Attributes from Proposal op. (#1853)

Deprecate nGraph v0 ops and builders (#1856)

* Deprecate nGraph v0 ops

* Fixed build

* Added deprecated defines to fix windows

[ MO ] KSO ON by default (#1730)

* [ MO ] KSO ON by default.
Introduce static_shape MO key, remove keep_shape_ops key usages

* keep_shape_ops -> static_shape

* static_shape = False by default

* Fix Proposal-4 shape infer

* style-apply

* Fix Layout Change for ShapeOf paths

Revert "[GNA] Remove old GNA1 from Cmake scripts (#1686)" (#1864)

This reverts commit ffe8599c309b32ef4bf6b6e73ea7a2edd2c048c0.

install_NEO_OCL_driver.sh: Added downloading driver functionality after removal NEO from the package (#1872)

Restore change of i64 parameters to i32 (#1866)

Change "run_op_node" helper to use Parameter instead of Constant (#1722)

* Replace Constant with Parameter in run_op_node.

* Pass inputs to function.

* Add func to get shape.

* Make constant if input is scalar.

* Add case for list.

* Fix test.

* Split tests for run_op_node and run_op_numeric_data.

* Split more tests.

* Split more and more tests.

* Mark tests with xfail.

* Mark more tests with xfail.

* Replace scalar with parameter.

* Code formatting.

* Set empty shape for scalar.

* Remove check for list.

Moved AlgebraicSimplification and NopElimination passes to IE (#1859)

* Moved AlgebraicSimplification and NopElimination passes to IE

* Fixed headerfiles

[IE CLDNN] Enable fsv16 format for all quantized models (#1791)

[NGRAPH] Fix system protoc version check in CMake (#1852)

Add `OUTPUT_STRIP_TRAILING_WHITESPACE` option to `execute_process` command.

Latest CMake (tested 3.18.1) doesn't strip new line from `protoc --version` call,
which leads to wrong `PROTOC_VERSION` variable and failure on git fetch step.

re-enable the myriadMultipleGraphsTests_nightly (#1836)

* re-enable the myriadMultipleGraphsTests_nightly

* refresh version of Myriad firmware

[GNA] add support for 4d eltwise (#1353)

* [GNA] add support for 4d eltwise

* cpplint fix

* refactor

* fix FP16 broadcast pass

* change anonymous function to InferenceEngine::details::product

* introduce anonymous function to the pass & add layer checks

* refactor tileBlob lambda

[IE CLDNN] Fix vector iterators incompatibility issue in prepare_primitive_fusing (#1842)

Fixed addOutput (#1844)

* Fixed addOutput

* Added tests; removed addOutput second call

[IE CLDNN] Mixed precision scale support (#1848)

Removed MO conversion of i64 inputs to i32 (#1835)

ExtractImagePatches MO implementation and nGraph transformation (#739)

[ MO ] Random Uniform Replacer (#1814)

LoadNetwork interface: executable network is returned as return value (#1840)

* LoadNetwork interface

* Added reference to SOPointer to returned ExecutablNetwork

* Fixed test

[LPT] Symmetric quantization support for efficientnet-b0 (#1773)

* [LPT] Symmetric quantization for efficientnet-b0

* [LPT] zero point calculation fix

Co-authored-by: Zinoviev, Vladimir <vladimir.zinoviev@intel.com>

[IE CLDNN] Use fsv4 instead of af32 layout for imad case (#1784)

Fixed path for pad reference impl (#1846)

[IE CLDNN] added fusing support for ref and b_fs_yx_fsv16 implementations (#1692)

Enable HSwish - ngraph op, fusion/decomposition and reference implementation (#1770)

* Add HSwish operator to nGraph

* Add HSwishFusion transformation

* Update check_constant function

* Add reference implementation for HSwish

* Enable reference implemenation in HSwish evaluate

* Add op_eval test

* HSwish fusion transformation test

* Add HSwishFusionWithoutRelu transformation

* Add more hswish fusion tests

* Register HSwishFusion pass in common_optimizations

* Update HSwish reference implementation

* Add HSwishFusion with Relu and Multiply

* Add HSwishDecomposition transformation pass

* Add HSwishDecomposition test

* Add HSwish op to ngraph python API

* Update HSwish fusion transformations

* Remove HSwishFusion from common optimizations

* Update hswish python API

* Add bf16 to evaluate hswish

* Update hswish python API

* Move hswish reference implementation

* UnaryElementwiseArithmetic inheritance

* Enable HSwish callback for clDNN

* Register HSwishDecomposition pass in ConvertOpSet1ToLegacy

* Enable HSwishFusion pass in common optimizations

* Use NGRAPH_RTTI_DECLARATION

* Moved python hswish test to the test_ops_unary

Add Range-4 support (#1552)

* Add Range-4 support

* Add type infer and IR Reader extender

* Implement ngraph Range-4

* Implement evaluate for Range-4

* Remove not needed types

* Resolve review feedback

* Add RTTI defines

Remove ngraph::Lambda class, replace TensorIterator body with ngraph::Function (#1830)

* remove Lambda class, replace TensorIterator body with ngraph::Function

* Fix passing parameters from parent graph to subgraph

Co-authored-by: mbencer <mateusz.bencer@intel.com>

Return serialization to IR v7 under conditional compilation (#1820)

Fixed set/get batch size logic for scalar inputs (#1837)

Optimize Concat operation (#1812)

* 1d case optimization

* code refactor

* concat optimization

* removed using template for concat

* unit tests to concat constant folding

* synchro with current master

Convert Pad to GroupConvolution transformation (#1826)

* Added ConvertPadToConvolution pass

* Removed NasNet transformation from MO

* Renamed Conv to GroupConv; Added tests

* Fixed typo; Added RTTI

Ngraph: hide itt.hpp to src (#1834)

* Use proper include for log.hpp

* Hide itt.hpp to src folder

* Removed CodeWriter

[GNA] Implement ImportNetwork from stream (#1743)

* add ImportNetwork from stream

* add test for importing network from stream

Merge changes from 2020.4.0.1 (#1809)

* [GNA] Propagate QoS timeout to the calling app (#1188)

* [GNA] Support timeout value set in Wait (#1499)

* [GNA] stored request id for completed sync infer request in order to get status later using wait() (#1458)

* stored request id for completed async infer request in order to get it's status later

* preserved status not started for multiple sequential calls to wait()

Co-authored-by: Denis Orlov <denis.orlov@intel.com>
* [GNA] Fix callbacks (#1607)

Co-authored-by: Eugene Smirnov <eugene.smirnov@intel.com>

Add arithmetic operators for bfloat16 (#1831)

Fix a specification for CTCLoss operation (#1786)

v1::Pad evaluator (#1771)

* v1::Pad reference implementation

* ut fix: pad_negative_exterior_1d

* ut fix: pad_negative_exterior_1d_check_limits & pad_edge_1d

* Code formatting

* ut fix: pad_edge_1d_top_neg & pad_edge_1d_top_neg_bigger_than_tensor

* More Pad UT fixes

* Pad UT fixes: REFLECT mode

* Fix all Pad UTs

* Switch Pad evaluation in INT backend

* Non-template solution to v1::Pad::evaluate

* Always create v1::Pad with 4 inputs

* VS compilation error fix

* Python test fix

* Remove the v0::Pad constant folding pass

* Some extra checks in v1::Pad evaluator

* Code formatting

* Remove an obsolete CF test

Add ONNX Round op (#1605)

[IE][VPU]: Reverts nGraph TI Unrolling for VPU (#1824)

[IE][VPU]: Fixed MX firmware memory type patching (#1825)

Fixing Myriad X firmware loader after RTEMS 5 related changes merged into MDK
* Fixed MX firmware memory type patching
* Update firmware
* disable myriadMultipleGraphsTests_nightly

Co-authored-by: Chekhonin Andrey <andrey.chekhonin@intel.com>

ConvertPrecision for element::boolean (#1772)

* Added bool to u8 conversion

* Added opset1::ShapeOf handler

* Added ReduceLogicalAnd/Or support in ConvertPrecision pass

* Moved static map inside function; Updated callbacks

* Removed header

* Fixed tyle relaxed for cases when the same output consumes by multiple inputs in the same operation; added tests; fixed input types setting for already created type relaxed operations

Java bindings (#506)

* java bindings added

* bulid saples alongside with IE build

* fixes

* fixes

* fixed comments

* fixes

Removed NGRAPH_API from reference library (#1821)

[FIX] Fix data layout for reshaped network (#1748)

* [FIX] Fix data layout for reshaped network

* [PATCH] Don't change compatible layouts

* Add UT for reshaped network

* FIX no. 1

Add static library with nGraph reference implementations (#1810)

* Removed reference implementations from public API

* Remove coordinate_transform from public API

* Introduced static library with reference implementations

Extend MO for operation CTCLoss and partly refactor CTCGreedyDecoder (#588)

* Extend MO for operation CTCLoss

* Change sequence length format to a mask format

* Add fixes after first-round review

* Add fixes after the second-round review

* Fixing CTCLossPlusCTCGreedyDecoder transformation

[IE][VPU]: Refactor vpu configs (#1334)

* [IE][VPU]: Refactor vpu configs

* [IE][VPU][GT]: Refactor vpu configs usage in GT

* [IE][VPU]: Refactor vpu configs usage in myriad plugin

* [IE][VPU]: Refactor vpu configs usage in tests

* [IE][VPU]: Refactor vpu configs usage in deprecated_tests

* [IE][VPU]: Refactor vpu configs usage in tools

* [IE][VPU]: Use hddl metric vars instead of macros

* [IE][VPU]: style fixes

* [IE][VPU]: Replace MYRIAD_FORCE_RESET with MYRIAD_ENABLE_FORCE_RESET

* [IE][VPU]: Resolve confilcts with MYRIAD_TILING_CMX_LIMIT_KB

* [IE][VPU]: Remove MYRIAD_PLATFORM from tools

* [IE][VPU]: Fix DISABLE_REORDER config in StridedSlice

* [IE][VPU]: Redesign config headers hierarchy

* [IE][VPU]: Clarify comments related to vpu configs

* [IE][VPU]: Leave default values of deprecated configs

* [IE][VPU]: Revert beh tests on VPU_MYRIAD_PLATFORM

* [IE][VPU]: Revert beh tests with deprecated configs

* [IE][VPU]: Resolve conflicts

* [IE][VPU]: Revert opencv dependency

Enable ReduceL1 and ReduceL2 operations (#1799)

* Initial version of ReduceL1, ReduceL2 and ReduceLp enabling in the MO

* Added operations ReduceL1 and ReduceL2 to nGraph

* Removed ReduceLp. Added ReduceL1 and ReduceL2

* Separated specification of ReduceLp into ReduceL1 and ReduceL2

* Updated ReduceL1 and ReduceL2 specification

* Fixed ReduceL1 and ReduceL2 type prop tests

* Implemented nGraph transformation to decompose ReduceL1 and ReduceL2. Disabled them for CPU and GPU plugins

* Updated supported framework layers

* Added unit tests for ReduceL1 and ReduceL2 reference implementation

* Fixed ReduceXXX operations reference implementation by adding support for a new parameter 'keep_dims'

* Fixed constant folding for v0::Any

* Added ReduceL1 and ReduceL2 to Python API

* Implemented ReduceL1 and ReduceL2 decomposition tests and fixed ReduceL2 decomposition

* Added specific creator for ReduceXXX operations instead of NodeBuilders

* Fixed conversion ReduceXXX to CNNLayer

* Fixed parser for ReduceLogicalXXX operations

[IE CLDNN] Export runtime graph as nGraph function (#1684)

FGTT for CF (#1792)

* Added FGTT for ConstantFolding

* Added test for CF disabling

Fix problem with renaming outputs from network (#1546)

[IE CLDNN] All input layouts support in ref pooling (#1782)

[CPU] fix conv + concat case and add tests (#1747)

Removed template headers for Fused Ops (#1780)

[Python API] Deprecate IENetLayer class (#1731)

* [Python API] Deprecate IENetLayer class

* update samples

* undo changes in samples

[IE CLDNN] Set arguments once (#1699)

Add reference implementation to VariadicSplit (#1698)

* implementation of variadic split ref impl

* Added tests

* added unit tests

* refactor

* review remarks

* fixed ie tests

[IE][VPU][GT]: fix pool 3d to 2d reduction (#1760)

* Fix minor error in pooling 3D to 2D conversion

[IE CLDNN] Gemm floating point unit-tests fix (#1797)

[IE CLDNN] Fix for DepthToSpace fusing into convolution (#1724)

[NGraph] CTCLoss reference implementation. (#1453)

Remove nGraph layout (#1763)