[IE VPU] Set name for output DSR in DTS (#1011)

* [IE VPU] Set name for outDSR in DTS transformations

* [IE VPU] Enable NonZero_Transpose tests

* [IE VPU] Set name for outDSR in Reduce DTS

* [IE VPU] Use move semantic in DTS

[IE TEST] Added constant input to MatMul tests (#1119)

* Added constant input to MatMul tests

* Added InputLayerType to ngraph_helpers.hpp

NMS-4 op support (#1115)

* Specification for the NMS-4 operation (updated shape infer function)

* Enabled NMS-4 in the Model Optimizer

* Changed opset version for NMS with dynamic outputs and namespace to be "dynamic"

* Added NMS-4

* Added opset4 to the nGraph

* Added unit tests for NMS-4 type infer

* Renamed UpgradeNMS3ToNMS4 to UpgradeNMS3ToNMSDynamic. Added stub for ConvertNMS4ToLegacy

* Make IE aware of opset4 ops

* Updated NMSIE to have different shape infer function based on the NMS it was converted from. Implemented NMS4->NMSIE conversion

* Apply code style

* Updated StaticShapeNonMaximumSuppression op in the VPU

* Introduced new version of NMSIE operation with shape infer function from v4::NMS

* Fixed dynamicToStaticNonMaxSuppression transformation

* Added new version of NMSIE op with updated shape infer function

* Fixed NMS4 to NMSIE2 transformation

* Fixed constructors for nGraph ops v4::NM and dynamic::NMS

* Updated text in the opset4 specification document

* Code style fixes

* Fixed constructors for StaticShapeNMS + fixed test

* Minor change to the NMS op in the MO

* Fixed typo in the dynamic_to_static_shape_non_max_suppression transformation

* Removed redundant checks

* Refactored NMS infer and validate functions

* Added more checks to the validate_and_infer_types functions for NMS-3 and NMS-4

* Fixed compilation issue on Windows for op NMS

* Code style fixes

* Fixed typos in the NMSIE and NMSIE2 to CNNLayer op conversion

* Fixed typo in the ie_cnn_layer_builder_ngraph.cpp

* Fixed the NMSToLegacyNMS transformation. Added unit tests

* Apply code review comments

* Refactored NMSIE to use visitors

* Removed calling ConvertNMS4ToLegacy in the common optimizations

* Moved NMS4ToNMSLegacy to convert1_to_legacy group of transformations

* Removed useless include statement

* Removed copy-paste issue

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

Alpha and beta nodes element types fix (#1150)

[CPU] Fixed PostOpsIntBlobMemory filling (#1133)

Fixed Softmax reference (#1148)

[IE CLDNN] Fix Android build error: braces around scalar initializer (#1151)

Cnnnetwork add layer (#1124)

* Removed addLayer from public interface

* Convert to CNNNetworkImpl

[ MO ] Keep data type of compressed value (#1143)

JIRA: 34085

[IE CLDNN] int8 batches optimization (#632)

Fixed deleting Transpose layers after and before Interpolate layers. (#1071)

* Fixed deleting Transpose layers after and before Interpolate layers.

* Added run_after() for the transformation InterpolateTranspose.

* Some checks were moved from the replacement function to the pattern.

* Added a check of the attribute 'axes' into the pattern.

Removed backprop operations (#1091)

* Removed backprop operations

* Fixed build

* Removed AvgPool

* Removed tests for v0 AvgPool

* Fixed code style

* Fixed export

[IE CLDNN] Implement ExtractImagePatches operation (#1127)

The ExtractImagePatches operation collects patches from the input
tensor, as if applying a convolution. All extracted patches are stacked
in the depth dimension of the output.

JIRA: 30055

Dynamic attribute getters and setters. (#964)

Fix const node non-deterministic names (part 1) (#996)

* Update node names

Fix use of new TestCase. (#1130)

Fixes in TensorIterator builder code (#1104)

[ONNX] Support for dynamic shapes for InstanceNormalization (#1076)

Enabled importing ONNX Yolo v3, added Loop op (#957)

Removed getLayerByName from public API (#1110)

* Fixed tests

* Removed getLayerByName from public API

Link fixes for opset docs (#1072)

* Fixed links

* Update opset.md

 Switch MeanVarianceNormalization op to opset3  in ONNX importer (#865)

* Switch MVN op to opset3.

[GNA] fix custom scale factors when importing a model (#1096)

[VPU] WA for statis shape allocation (#1107)

[IE CLDNN] Set strided slice out_format to bfyx when in_format=bfzyx and shrink_axis_mask is set (#1111)

LayerNorm(PyTorch/HuggingFace pattern)->MVN+Mul+Add (#1003)

* LayerNorm(PyTorch/HuggingFace pattern)->MVN+Mul+Add. Improves perf on BERT by 5%

* deducing the across_channels from axes passed to the MVN op.
axes are normalized. if no axes is specified, falling back to the (previously) default across_channel value

Co-authored-by: myshevts <maim.y.shevtsov@intel.com>

[ v4::NMS ] Fixed v4 NMS cloning (#1113)

Removed suppression macro usage (#1108)

[IE CLDNN] Added space_to_batch operation (#984)

[GNA] Added fix multiple output with one go to memory and test (#669)

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

tests

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

tests

Added pass

Test

test

tests_2

return old

TestCase & TestEngine(s) for nGraph UTs (#934)

[IE TESTS] CoreThreadingTestsWithIterations.smoke_LoadNetworkAccuracy disabled & small refactoring of CoreThreadingTests (#1103)

Exec extensions (#963)

* Fixes

* Removed some tests for extensions

* Added const

* Removed unknown pragma

Removed reference implementations for some data types (#1086)

[IE TESTS] Remove extra files (#1087)

CI passed

[IE] Preserve output data name after merging and update output data map (#1101)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Moved deprecated network iterator to legacy (#913)

* Removed deprecated iterator API

* Applied comments

Removed deprecated ICNNNetwork::getData (#1093)

Removed ICNNNetReader interface (#1042)

* Removed ICNNNetReader interface

* Fixed stress tests

* Fixed comments in VPU plugin

* Removed duplicated stress tests

* Fixed watchdog tests

[IE TESTS] move BehaviorTestPlugin to the new IE tests infra & small refactoring for Behavior tests (#784)

* [ci-skip][IE TESTS] move beh_test_plugin

* [ci-skip][IE TESTS] move BehaviorHolderTest

* [ci-skip][IE TESTS] fix GNA layout test

* [ci-skip][IE TESTS] fix cmake

* [ci-skip][IE TESTS] fix lib in IEBehaviorTest

* [ci-skip][IE TESTS] separate layout and cpp_wrapers test and fix namespace

* [ci-skip][IE TESTS] fix holders test

* [ci-skip][IE TESTS] fix namespace

* [ci-skip][IE TESTS] fix codestyle

* [ci-skip][IE TESTS] fix test_plugin

* [ci-skip][IE TESTS] fix test_plugin v2

* [ci-skip][IE TESTS] disabled gpu instance for test_plugin

* [ci-skip][IE TESTS] fix

[IE TESTS] Range (#1094)

Fixes for building nGraph Python API (#707)

Hetero plugin supports ngraph (#530)

[IE CLDNN] Fix device release with static plugin instance (#1034)

The problem was in order of freeing memory. _context was removed before
_device and it looks like cl::Device in destructor tries to read some
info from cl::Context. And in this case we got this problem with
addressing because the memory already was freed.

For fixing the problem I changed the order of constructing members. And
based on principle: "First constructed, last destructed", the problem
was fixed.

JIRA: 29649

Removed deprecated Data ctor (#1078)

Cnnnetwork deprecated methods (#1077)

* Removed getName with char *

* Removed getPrecision from ICNNNetwork

[VPU] Support for originalLayersNames attribute in exec graph (#1033)

[VPU] Fix eltwise broadcast (#1001)

* [VPU][Tests] Extend eltwise test cases

* [VPU] Fix Myriad2

* [VPU] Update firmware

* [VPU] Review fixes

* [VPU] Update old deprecated tests

[ONNX importer] Add support for Usample-8 and Upsample-9 (#967)

Correct removing nodes from graph and add test for ConstToResult transform (#1084)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

CMAKE: cross-compilation for ia32 (#1074)

[IE TESTS] Add Squeeze single layer test (#985)

* [IE TESTS] Add Squeeze single layer test

* [IE TESTS] Add Unsqueeze test

* Fix some comments

[ DTS ] MatMul (#974)

* [ DTS ] MatMul

* [ TESTS ] Dynamic MatMul inference test disabled

[IE CLDNN] Add work-around for 1d input to Gather (#1070)

[ MO ] Hard-coded Interpolate followed by concat reshape-ability fixing (#818)

Fix for Kaldi models with a batch of more than 1 (#1012)

* Fix kaldi models (batch > 1)

* ngraph codestyle

* fix ngraph to ie conversion

* Added comment

* apply review comments

* Added test for the case using the SetBatchSize function when ReadValue op is in the network

* Check status code instead of message

* Use new ngraph api

Fix Android ARM build (#1032)

* fix arm build: size_t -> uint64_t

* apply static_cast

* fix dynamic_to_static_shape_binary_elementwise.cpp file

* add static_cast in prior_box.cpp

Cherry-pick fix OneHot transformation for Bert Squad opset 10 (#1068)

* Fix OneHot transformation for Bert Squad opset 10

* Add transformation for squeezing depth for OneHot

[GNA] Initialize a local variable (#1067)

[GNA] Support export model with multiple inputs/outputs and Permute layer (#775)

[IE CLDNN] fsv4 to fsv16 conv (#1030)

[IE CLDNN] WA to inconsistency between input and const 1d tensors for concat (#1063)

[CPU] Fixed issue with unsupported reorder case for groupped convolutions

Add memcheck runner script (#1031)

Script executes measurement isolated with gtest-parallel,
handles database uploading and reports generation.

Fix samples build script (#819)

Fix cases then const blob precision is not FP32/FP16 (#1020)

Co-authored-by: kmagiers <kmagiers@intel.com>

[Py] Ngraph Py API TensorIterator (#718)

Cleanup IR v7 from the MO (#1008)

* Removed back phase transformations related to IRv7

* Fixed setting value for the input port using the 'set_value' method

* Removed front and middle phase transformations related to IRv7

* Cleanup the rest of the Model Optimizer transformations from IRv7 specific transformations

* Final cleanup of the deprecated IR v7 related code

* Removed 'blobs_as_input' usage in the Model Optimizer.

* Removed function '_fuse_add' from the Model Optimizer since it is not used anymore.

* Removed 'keep_in_IR' node attribute for FakeQuantize ops in the MO

* Disabled failing gpu_engine.user_context test

Remove some stuff from legacy library (#1043)

[LPT] BERT with specific biases support & improvement (cherry-pick to master) (#1021)

* [LPT] BERT with biases support

* [LPT] Gemm biases and quantization

* [CPU] Fixed FullyConnected + Depthwise node fusing

* [LPT] FullyConnected 3D: symmetric quantization support

* [LPT] FullyConnected 3D: symmetric quantization support fix

* [CPU] Fixed FullyConnected + Depthwise fusing initialization

Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Fix build issue (#923)

* Fix build issue

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Adding include directories,
* Removing IE::inference_engine_c_api dependency.

* Remove IE::inference_engine_nn_builder reference.

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Removing  IE::inference_engine_nn_builder dependency.

Co-authored-by: Ilya Lavrenov <ilya.lavrenov@intel.com>

[IE CLDNN] Fix activation implementation for fsv16 format (#1037)

For b_fs_yx_fsv16 format in reference kernel features for dispatch are
rounded to multiple of 16. This change adds correct check in kernel to
return work-items that are inside this dispatch padding.
Previously those work-items could corrupt memory expected to be filled
with 0s, and for parametrized activation due to bounds checking with
modulo operator they could have been corrupting actual layer output.

Issue: CVS-27672

Moved plugin to hidden folder (#999)

Removed VPU option (#1027)

Add memcheck comparison script (#935)

Add compare_memcheck_2_runs.py compares two runs.
Add handling of broken files for `parse_memcheck_log`

Removed Int8 normalizer and statistics (#919)

* Removed Int8 normalizer and statistics

* Removed statistics handling from tests utils

* Fixed tests compilation with statistics

[IE VPU] use optimized ReduceMean instead of GlobalPooling (#629)

Removed shape infer extension (#917)

Added opset docs (#992)

[IE VPU] Evaluate DSR (#770)

* [IE VPU] Add evaluate method to DSR

* [IE VPU] Enable DSR_Reshape tests

* [IE VPU] Improvements in DSR op

* [IE VPU] Fix typo in copyBlobAccordingUpperBound

* [IE VPU] Support dynamic inputs

* [IE VPU] Use dynamic inputs in tests

* [IE VPU] Improve conditions in propogateDynamism pass

* [IE VPU] Fix Myriad2 tests via dosabling reorder

* [IE VPU] make error message more explicit

* [IE VPU] Fix Win compilation: std::stoi in <string>

* [IE VPU] Improve data transferring to work with ND tensors

* [IE VPU] Avoid ODR in myriad common test utils

* [IE VPU] Split code in propagate dynamism into separate methods

* [IE VPU] Simplify conditions in DSR parsing

* [IE VPU] Emplace data in initialStages when remove stage order

[IE Common][WA] Skipped const folding for Convolution layer (#1005)

[GNA] fix permute 0_2_1 (#991)

fix: inference-engine/ie_bridges/python/requirements.txt to reduce vulnerabilities (#1006)

The following vulnerabilities are fixed by pinning transitive dependencies:
- https://snyk.io/vuln/SNYK-PYTHON-NUMPY-73513

Co-authored-by: snyk-bot <snyk-bot@snyk.io>

[IE CLDNN] Fix strided slice (#950)

Azure CI: Add gtest-parallel on Lin & Mac (#980)

[IE CLDNN] Add pooling b_fs_yx_fsv16 int8 (#565)

Adding new layer tests to validation (#848)

* Add transpose, gather and reduce ops layer tests

* Fix skipping of Reduce Logical tests

* Fix compilation error with icl

[CPU] fix one dims scale shift (#989)

[Common] Static analysed issues. Part II. (#881)

Changes: (#982)

- Named structures in bmp.h to avoid MSFT compiler error
- Fix for non-void function with missing return statement to avoid Intel compiler error
- Enabled "smoke_ExportUsingFileNameImportFromStreamNoThrowWithDeviceName" test
- Fix for MvncTest

[ DTS ] Reduces (#940)

[ DYN NMS ] Static & Dynamic ops; DTS transformation; VPU tests (#884)

Relaxed MO requirements for "protobuf" package (#864)

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

fixed some typos in MO help (#972)

[ DTS ] Exp, Softmax, Greater (#926)

- Dynamic to Static transformation enabled for Exp, Softmax, Greater
- Logic Elementwises default ctor sets autobroadcasting according to spec

Fixed cpack information, removed some links (#976)

[IE CLDNN] Fix gather dimensions calculation (#959)

Execution graph via ngraph for CPU plugin (#510)

* Execution graph via ngraph for CPU plugin

* Fixes

* Migrated to VariantImpl instead of Parameter

* Reverted to dedicated ExecutionNode once again

* Re-use new execution graph in tests

* Fixed one more tests to use execution graph via ngraph::Function

CMAKE: fixed path for bin artifacts for 32bits (#890)

Pass SizeVector by const reference in ie_layout.hpp (#965)