Fixed Softmax reference (#1148)

[IE CLDNN] Fix Android build error: braces around scalar initializer (#1151)

Cnnnetwork add layer (#1124)

* Removed addLayer from public interface

* Convert to CNNNetworkImpl

[ MO ] Keep data type of compressed value (#1143)

JIRA: 34085

[IE CLDNN] int8 batches optimization (#632)

Fixed deleting Transpose layers after and before Interpolate layers. (#1071)

* Fixed deleting Transpose layers after and before Interpolate layers.

* Added run_after() for the transformation InterpolateTranspose.

* Some checks were moved from the replacement function to the pattern.

* Added a check of the attribute 'axes' into the pattern.

Removed backprop operations (#1091)

* Removed backprop operations

* Fixed build

* Removed AvgPool

* Removed tests for v0 AvgPool

* Fixed code style

* Fixed export

[IE CLDNN] Implement ExtractImagePatches operation (#1127)

The ExtractImagePatches operation collects patches from the input
tensor, as if applying a convolution. All extracted patches are stacked
in the depth dimension of the output.

JIRA: 30055

Dynamic attribute getters and setters. (#964)

Fix const node non-deterministic names (part 1) (#996)

* Update node names

Fix use of new TestCase. (#1130)

Fixes in TensorIterator builder code (#1104)

[ONNX] Support for dynamic shapes for InstanceNormalization (#1076)

Enabled importing ONNX Yolo v3, added Loop op (#957)

Removed getLayerByName from public API (#1110)

* Fixed tests

* Removed getLayerByName from public API

Link fixes for opset docs (#1072)

* Fixed links

* Update opset.md

 Switch MeanVarianceNormalization op to opset3  in ONNX importer (#865)

* Switch MVN op to opset3.

[GNA] fix custom scale factors when importing a model (#1096)

[VPU] WA for statis shape allocation (#1107)

[IE CLDNN] Set strided slice out_format to bfyx when in_format=bfzyx and shrink_axis_mask is set (#1111)

LayerNorm(PyTorch/HuggingFace pattern)->MVN+Mul+Add (#1003)

* LayerNorm(PyTorch/HuggingFace pattern)->MVN+Mul+Add. Improves perf on BERT by 5%

* deducing the across_channels from axes passed to the MVN op.
axes are normalized. if no axes is specified, falling back to the (previously) default across_channel value

Co-authored-by: myshevts <maim.y.shevtsov@intel.com>

[ v4::NMS ] Fixed v4 NMS cloning (#1113)

Removed suppression macro usage (#1108)

[IE CLDNN] Added space_to_batch operation (#984)

[GNA] Added fix multiple output with one go to memory and test (#669)

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

tests

[GNA] Added fix multiple output with one go to memory and test

[GNA] Added fix multiple output with one go to memory and test

Added multi output

Update gna_pass_manager.cpp

test

tests

Added pass

Test

test

tests_2

return old

TestCase & TestEngine(s) for nGraph UTs (#934)

[IE TESTS] CoreThreadingTestsWithIterations.smoke_LoadNetworkAccuracy disabled & small refactoring of CoreThreadingTests (#1103)

Exec extensions (#963)

* Fixes

* Removed some tests for extensions

* Added const

* Removed unknown pragma

Removed reference implementations for some data types (#1086)

[IE TESTS] Remove extra files (#1087)

CI passed

[IE] Preserve output data name after merging and update output data map (#1101)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Moved deprecated network iterator to legacy (#913)

* Removed deprecated iterator API

* Applied comments

Removed deprecated ICNNNetwork::getData (#1093)

Removed ICNNNetReader interface (#1042)

* Removed ICNNNetReader interface

* Fixed stress tests

* Fixed comments in VPU plugin

* Removed duplicated stress tests

* Fixed watchdog tests

[IE TESTS] move BehaviorTestPlugin to the new IE tests infra & small refactoring for Behavior tests (#784)

* [ci-skip][IE TESTS] move beh_test_plugin

* [ci-skip][IE TESTS] move BehaviorHolderTest

* [ci-skip][IE TESTS] fix GNA layout test

* [ci-skip][IE TESTS] fix cmake

* [ci-skip][IE TESTS] fix lib in IEBehaviorTest

* [ci-skip][IE TESTS] separate layout and cpp_wrapers test and fix namespace

* [ci-skip][IE TESTS] fix holders test

* [ci-skip][IE TESTS] fix namespace

* [ci-skip][IE TESTS] fix codestyle

* [ci-skip][IE TESTS] fix test_plugin

* [ci-skip][IE TESTS] fix test_plugin v2

* [ci-skip][IE TESTS] disabled gpu instance for test_plugin

* [ci-skip][IE TESTS] fix

[IE TESTS] Range (#1094)

Fixes for building nGraph Python API (#707)

Hetero plugin supports ngraph (#530)

[IE CLDNN] Fix device release with static plugin instance (#1034)

The problem was in order of freeing memory. _context was removed before
_device and it looks like cl::Device in destructor tries to read some
info from cl::Context. And in this case we got this problem with
addressing because the memory already was freed.

For fixing the problem I changed the order of constructing members. And
based on principle: "First constructed, last destructed", the problem
was fixed.

JIRA: 29649

Removed deprecated Data ctor (#1078)

Cnnnetwork deprecated methods (#1077)

* Removed getName with char *

* Removed getPrecision from ICNNNetwork

[VPU] Support for originalLayersNames attribute in exec graph (#1033)

[VPU] Fix eltwise broadcast (#1001)

* [VPU][Tests] Extend eltwise test cases

* [VPU] Fix Myriad2

* [VPU] Update firmware

* [VPU] Review fixes

* [VPU] Update old deprecated tests

[ONNX importer] Add support for Usample-8 and Upsample-9 (#967)

Correct removing nodes from graph and add test for ConstToResult transform (#1084)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

CMAKE: cross-compilation for ia32 (#1074)

[IE TESTS] Add Squeeze single layer test (#985)

* [IE TESTS] Add Squeeze single layer test

* [IE TESTS] Add Unsqueeze test

* Fix some comments

[ DTS ] MatMul (#974)

* [ DTS ] MatMul

* [ TESTS ] Dynamic MatMul inference test disabled

[IE CLDNN] Add work-around for 1d input to Gather (#1070)

[ MO ] Hard-coded Interpolate followed by concat reshape-ability fixing (#818)

Fix for Kaldi models with a batch of more than 1 (#1012)

* Fix kaldi models (batch > 1)

* ngraph codestyle

* fix ngraph to ie conversion

* Added comment

* apply review comments

* Added test for the case using the SetBatchSize function when ReadValue op is in the network

* Check status code instead of message

* Use new ngraph api

Fix Android ARM build (#1032)

* fix arm build: size_t -> uint64_t

* apply static_cast

* fix dynamic_to_static_shape_binary_elementwise.cpp file

* add static_cast in prior_box.cpp

Cherry-pick fix OneHot transformation for Bert Squad opset 10 (#1068)

* Fix OneHot transformation for Bert Squad opset 10

* Add transformation for squeezing depth for OneHot

[GNA] Initialize a local variable (#1067)

[GNA] Support export model with multiple inputs/outputs and Permute layer (#775)

[IE CLDNN] fsv4 to fsv16 conv (#1030)

[IE CLDNN] WA to inconsistency between input and const 1d tensors for concat (#1063)

[CPU] Fixed issue with unsupported reorder case for groupped convolutions

Add memcheck runner script (#1031)

Script executes measurement isolated with gtest-parallel,
handles database uploading and reports generation.

Fix samples build script (#819)

Fix cases then const blob precision is not FP32/FP16 (#1020)

Co-authored-by: kmagiers <kmagiers@intel.com>

[Py] Ngraph Py API TensorIterator (#718)

Cleanup IR v7 from the MO (#1008)

* Removed back phase transformations related to IRv7

* Fixed setting value for the input port using the 'set_value' method

* Removed front and middle phase transformations related to IRv7

* Cleanup the rest of the Model Optimizer transformations from IRv7 specific transformations

* Final cleanup of the deprecated IR v7 related code

* Removed 'blobs_as_input' usage in the Model Optimizer.

* Removed function '_fuse_add' from the Model Optimizer since it is not used anymore.

* Removed 'keep_in_IR' node attribute for FakeQuantize ops in the MO

* Disabled failing gpu_engine.user_context test

Remove some stuff from legacy library (#1043)

[LPT] BERT with specific biases support & improvement (cherry-pick to master) (#1021)

* [LPT] BERT with biases support

* [LPT] Gemm biases and quantization

* [CPU] Fixed FullyConnected + Depthwise node fusing

* [LPT] FullyConnected 3D: symmetric quantization support

* [LPT] FullyConnected 3D: symmetric quantization support fix

* [CPU] Fixed FullyConnected + Depthwise fusing initialization

Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Fix build issue (#923)

* Fix build issue

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Adding include directories,
* Removing IE::inference_engine_c_api dependency.

* Remove IE::inference_engine_nn_builder reference.

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Removing  IE::inference_engine_nn_builder dependency.

Co-authored-by: Ilya Lavrenov <ilya.lavrenov@intel.com>

[IE CLDNN] Fix activation implementation for fsv16 format (#1037)

For b_fs_yx_fsv16 format in reference kernel features for dispatch are
rounded to multiple of 16. This change adds correct check in kernel to
return work-items that are inside this dispatch padding.
Previously those work-items could corrupt memory expected to be filled
with 0s, and for parametrized activation due to bounds checking with
modulo operator they could have been corrupting actual layer output.

Issue: CVS-27672

Moved plugin to hidden folder (#999)

Removed VPU option (#1027)

Add memcheck comparison script (#935)

Add compare_memcheck_2_runs.py compares two runs.
Add handling of broken files for `parse_memcheck_log`

Removed Int8 normalizer and statistics (#919)

* Removed Int8 normalizer and statistics

* Removed statistics handling from tests utils

* Fixed tests compilation with statistics

[IE VPU] use optimized ReduceMean instead of GlobalPooling (#629)

Removed shape infer extension (#917)

Added opset docs (#992)

[IE VPU] Evaluate DSR (#770)

* [IE VPU] Add evaluate method to DSR

* [IE VPU] Enable DSR_Reshape tests

* [IE VPU] Improvements in DSR op

* [IE VPU] Fix typo in copyBlobAccordingUpperBound

* [IE VPU] Support dynamic inputs

* [IE VPU] Use dynamic inputs in tests

* [IE VPU] Improve conditions in propogateDynamism pass

* [IE VPU] Fix Myriad2 tests via dosabling reorder

* [IE VPU] make error message more explicit

* [IE VPU] Fix Win compilation: std::stoi in <string>

* [IE VPU] Improve data transferring to work with ND tensors

* [IE VPU] Avoid ODR in myriad common test utils

* [IE VPU] Split code in propagate dynamism into separate methods

* [IE VPU] Simplify conditions in DSR parsing

* [IE VPU] Emplace data in initialStages when remove stage order

[IE Common][WA] Skipped const folding for Convolution layer (#1005)

[GNA] fix permute 0_2_1 (#991)

fix: inference-engine/ie_bridges/python/requirements.txt to reduce vulnerabilities (#1006)

The following vulnerabilities are fixed by pinning transitive dependencies:
- https://snyk.io/vuln/SNYK-PYTHON-NUMPY-73513

Co-authored-by: snyk-bot <snyk-bot@snyk.io>

[IE CLDNN] Fix strided slice (#950)

Azure CI: Add gtest-parallel on Lin & Mac (#980)

[IE CLDNN] Add pooling b_fs_yx_fsv16 int8 (#565)

Adding new layer tests to validation (#848)

* Add transpose, gather and reduce ops layer tests

* Fix skipping of Reduce Logical tests

* Fix compilation error with icl

[CPU] fix one dims scale shift (#989)

[Common] Static analysed issues. Part II. (#881)

Changes: (#982)

- Named structures in bmp.h to avoid MSFT compiler error
- Fix for non-void function with missing return statement to avoid Intel compiler error
- Enabled "smoke_ExportUsingFileNameImportFromStreamNoThrowWithDeviceName" test
- Fix for MvncTest

[ DTS ] Reduces (#940)

[ DYN NMS ] Static & Dynamic ops; DTS transformation; VPU tests (#884)

Relaxed MO requirements for "protobuf" package (#864)

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

fixed some typos in MO help (#972)

[ DTS ] Exp, Softmax, Greater (#926)

- Dynamic to Static transformation enabled for Exp, Softmax, Greater
- Logic Elementwises default ctor sets autobroadcasting according to spec

Fixed cpack information, removed some links (#976)

[IE CLDNN] Fix gather dimensions calculation (#959)

Execution graph via ngraph for CPU plugin (#510)

* Execution graph via ngraph for CPU plugin

* Fixes

* Migrated to VariantImpl instead of Parameter

* Reverted to dedicated ExecutionNode once again

* Re-use new execution graph in tests

* Fixed one more tests to use execution graph via ngraph::Function

CMAKE: fixed path for bin artifacts for 32bits (#890)

Pass SizeVector by const reference in ie_layout.hpp (#965)

[IE TESTS] disable Some myriad tests on Win (#763)

* [IE TESTS] disable Some myriad tests on Windisable Some myriad tests on Win

* Skip test with todo

Use creators only for default opsets (#948)

[IE][VPU]: Enables dynamic output from middle of network support (#930)

* [IE][VPU]: Enables dynamic output from middle of network support

This feature is very useful for debugging dynamic networks.
Changes include modification of existing addCopyForOutputsInsideNetwork
pass to respect dynamic outputs and moving propagateDynamismToOutputs
pass after addCopyForOutputsInsideNetwork. The motivation for last change
is to avoid unnecessary copy stages due to not synchronized logic, because
previously:

* First in Front-End (parseDSR) we mark shape data object as output
* Then in propagateDynamismToOutputs we insert copy stage for that case.
  It's necessary if shape data object had other consumers
* Then in convertShapeNotation we insert Gather consumer for output data object
* Finally, addCopyForOutputsInsideNetwork inserts one more copy stage to leave
  output data object without consumers.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Replaces attrs.has + attrs.get with attrs.getOrDefault

* [IE][VPU]: Fixes setting IE-notation and converted-notation to the same data object

[GNA] Added test ScaleShift and fixed power layer with non zero shift (#774)

* [GNA] Added test ScaleShift and fixed power layer with non zero shift

Removed deprecated error listener, getmappedtopology (#915)