Correct removing nodes from graph and add test for ConstToResult transform (#1084)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

CMAKE: cross-compilation for ia32 (#1074)

[IE TESTS] Add Squeeze single layer test (#985)

* [IE TESTS] Add Squeeze single layer test

* [IE TESTS] Add Unsqueeze test

* Fix some comments

[ DTS ] MatMul (#974)

* [ DTS ] MatMul

* [ TESTS ] Dynamic MatMul inference test disabled

[IE CLDNN] Add work-around for 1d input to Gather (#1070)

[ MO ] Hard-coded Interpolate followed by concat reshape-ability fixing (#818)

Fix for Kaldi models with a batch of more than 1 (#1012)

* Fix kaldi models (batch > 1)

* ngraph codestyle

* fix ngraph to ie conversion

* Added comment

* apply review comments

* Added test for the case using the SetBatchSize function when ReadValue op is in the network

* Check status code instead of message

* Use new ngraph api

Fix Android ARM build (#1032)

* fix arm build: size_t -> uint64_t

* apply static_cast

* fix dynamic_to_static_shape_binary_elementwise.cpp file

* add static_cast in prior_box.cpp

Cherry-pick fix OneHot transformation for Bert Squad opset 10 (#1068)

* Fix OneHot transformation for Bert Squad opset 10

* Add transformation for squeezing depth for OneHot

[GNA] Initialize a local variable (#1067)

[GNA] Support export model with multiple inputs/outputs and Permute layer (#775)

[IE CLDNN] fsv4 to fsv16 conv (#1030)

[IE CLDNN] WA to inconsistency between input and const 1d tensors for concat (#1063)

[CPU] Fixed issue with unsupported reorder case for groupped convolutions

Add memcheck runner script (#1031)

Script executes measurement isolated with gtest-parallel,
handles database uploading and reports generation.

Fix samples build script (#819)

Fix cases then const blob precision is not FP32/FP16 (#1020)

Co-authored-by: kmagiers <kmagiers@intel.com>

[Py] Ngraph Py API TensorIterator (#718)

Cleanup IR v7 from the MO (#1008)

* Removed back phase transformations related to IRv7

* Fixed setting value for the input port using the 'set_value' method

* Removed front and middle phase transformations related to IRv7

* Cleanup the rest of the Model Optimizer transformations from IRv7 specific transformations

* Final cleanup of the deprecated IR v7 related code

* Removed 'blobs_as_input' usage in the Model Optimizer.

* Removed function '_fuse_add' from the Model Optimizer since it is not used anymore.

* Removed 'keep_in_IR' node attribute for FakeQuantize ops in the MO

* Disabled failing gpu_engine.user_context test

Remove some stuff from legacy library (#1043)

[LPT] BERT with specific biases support & improvement (cherry-pick to master) (#1021)

* [LPT] BERT with biases support

* [LPT] Gemm biases and quantization

* [CPU] Fixed FullyConnected + Depthwise node fusing

* [LPT] FullyConnected 3D: symmetric quantization support

* [LPT] FullyConnected 3D: symmetric quantization support fix

* [CPU] Fixed FullyConnected + Depthwise fusing initialization

Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Fix build issue (#923)

* Fix build issue

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Adding include directories,
* Removing IE::inference_engine_c_api dependency.

* Remove IE::inference_engine_nn_builder reference.

Why:

* Enable to build OpenVINO.

This change addresses the need by:

* Removing  IE::inference_engine_nn_builder dependency.

Co-authored-by: Ilya Lavrenov <ilya.lavrenov@intel.com>

[IE CLDNN] Fix activation implementation for fsv16 format (#1037)

For b_fs_yx_fsv16 format in reference kernel features for dispatch are
rounded to multiple of 16. This change adds correct check in kernel to
return work-items that are inside this dispatch padding.
Previously those work-items could corrupt memory expected to be filled
with 0s, and for parametrized activation due to bounds checking with
modulo operator they could have been corrupting actual layer output.

Issue: CVS-27672

Moved plugin to hidden folder (#999)

Removed VPU option (#1027)

Add memcheck comparison script (#935)

Add compare_memcheck_2_runs.py compares two runs.
Add handling of broken files for `parse_memcheck_log`

Removed Int8 normalizer and statistics (#919)

* Removed Int8 normalizer and statistics

* Removed statistics handling from tests utils

* Fixed tests compilation with statistics

[IE VPU] use optimized ReduceMean instead of GlobalPooling (#629)

Removed shape infer extension (#917)

Added opset docs (#992)

[IE VPU] Evaluate DSR (#770)

* [IE VPU] Add evaluate method to DSR

* [IE VPU] Enable DSR_Reshape tests

* [IE VPU] Improvements in DSR op

* [IE VPU] Fix typo in copyBlobAccordingUpperBound

* [IE VPU] Support dynamic inputs

* [IE VPU] Use dynamic inputs in tests

* [IE VPU] Improve conditions in propogateDynamism pass

* [IE VPU] Fix Myriad2 tests via dosabling reorder

* [IE VPU] make error message more explicit

* [IE VPU] Fix Win compilation: std::stoi in <string>

* [IE VPU] Improve data transferring to work with ND tensors

* [IE VPU] Avoid ODR in myriad common test utils

* [IE VPU] Split code in propagate dynamism into separate methods

* [IE VPU] Simplify conditions in DSR parsing

* [IE VPU] Emplace data in initialStages when remove stage order

[IE Common][WA] Skipped const folding for Convolution layer (#1005)

[GNA] fix permute 0_2_1 (#991)

fix: inference-engine/ie_bridges/python/requirements.txt to reduce vulnerabilities (#1006)

The following vulnerabilities are fixed by pinning transitive dependencies:
- https://snyk.io/vuln/SNYK-PYTHON-NUMPY-73513

Co-authored-by: snyk-bot <snyk-bot@snyk.io>

[IE CLDNN] Fix strided slice (#950)

Azure CI: Add gtest-parallel on Lin & Mac (#980)

[IE CLDNN] Add pooling b_fs_yx_fsv16 int8 (#565)

Adding new layer tests to validation (#848)

* Add transpose, gather and reduce ops layer tests

* Fix skipping of Reduce Logical tests

* Fix compilation error with icl

[CPU] fix one dims scale shift (#989)

[Common] Static analysed issues. Part II. (#881)

Changes: (#982)

- Named structures in bmp.h to avoid MSFT compiler error
- Fix for non-void function with missing return statement to avoid Intel compiler error
- Enabled "smoke_ExportUsingFileNameImportFromStreamNoThrowWithDeviceName" test
- Fix for MvncTest

[ DTS ] Reduces (#940)

[ DYN NMS ] Static & Dynamic ops; DTS transformation; VPU tests (#884)

Relaxed MO requirements for "protobuf" package (#864)

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

fixed some typos in MO help (#972)

[ DTS ] Exp, Softmax, Greater (#926)

- Dynamic to Static transformation enabled for Exp, Softmax, Greater
- Logic Elementwises default ctor sets autobroadcasting according to spec

Fixed cpack information, removed some links (#976)

[IE CLDNN] Fix gather dimensions calculation (#959)

Execution graph via ngraph for CPU plugin (#510)

* Execution graph via ngraph for CPU plugin

* Fixes

* Migrated to VariantImpl instead of Parameter

* Reverted to dedicated ExecutionNode once again

* Re-use new execution graph in tests

* Fixed one more tests to use execution graph via ngraph::Function

CMAKE: fixed path for bin artifacts for 32bits (#890)

Pass SizeVector by const reference in ie_layout.hpp (#965)

[IE TESTS] disable Some myriad tests on Win (#763)

* [IE TESTS] disable Some myriad tests on Windisable Some myriad tests on Win

* Skip test with todo

Use creators only for default opsets (#948)

[IE][VPU]: Enables dynamic output from middle of network support (#930)

* [IE][VPU]: Enables dynamic output from middle of network support

This feature is very useful for debugging dynamic networks.
Changes include modification of existing addCopyForOutputsInsideNetwork
pass to respect dynamic outputs and moving propagateDynamismToOutputs
pass after addCopyForOutputsInsideNetwork. The motivation for last change
is to avoid unnecessary copy stages due to not synchronized logic, because
previously:

* First in Front-End (parseDSR) we mark shape data object as output
* Then in propagateDynamismToOutputs we insert copy stage for that case.
  It's necessary if shape data object had other consumers
* Then in convertShapeNotation we insert Gather consumer for output data object
* Finally, addCopyForOutputsInsideNetwork inserts one more copy stage to leave
  output data object without consumers.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Replaces attrs.has + attrs.get with attrs.getOrDefault

* [IE][VPU]: Fixes setting IE-notation and converted-notation to the same data object

[GNA] Added test ScaleShift and fixed power layer with non zero shift (#774)

* [GNA] Added test ScaleShift and fixed power layer with non zero shift

Removed deprecated error listener, getmappedtopology (#915)

Removed PluginDispatcher; IEPlugin from python API (#920)

Support fp16 networks (#752)

* Modifications to support fp16 networks in KMB-plugin

* StridedSliceIE is removed

* One function convertFunctionToICNNNetwork with default parameter

* Some little changes in function convertFunctionToICNNNetwork()

* Delete some spaces in code (style changes)

* Edit code style

* Edit code style one more

* Edit code style again

* Remove row with Transpose()

[IE CLDNN] Add resample improvements (#933)

This change:
- extends concat in-place optimization for resample on input
- adds resample primitive int8 support for bilinear mode
- fixes some potential issues with offset calculations with in8

[Python API] Fix long inference (#938)

[IE CLDNN] Fix inserting reorders in bwd direction (#811)

[IE VPU] Dynamic Concat fixes (#842)

* [IE VPU] Dynamic Concat fixes

* [IE VPU] Update firmware

[IE VPU] Enable variable number of inputs for ExpPriorGridGenerator (#855)

* [IE VPU] Enable variable number of inputs for ExpPriorGridGenerator layer

* [IE VPU] Add test cases for ExpPriorGridGenerator layer with less than three inputs

CMAKE: removed conditional compilation for C API (#861)

Updated dates of removal for deprecated API (#912)

TESTS: Added test for parallel LoadNetwork with accuracy check (#910)

Docs 2021 1 (#901)

* Initial state of dev docs

* Ported docs for quantized networks

* Integrate quantization guide + transformations template

* Fixes

Fix NopElimination (#891)

Fix preserving names of output layers after TopK NGraph transformation (#843)

* Fix preserving names of output layers after TopK NGraph transformation

It helps to infer semantic-segmentation-adas-0001 model. See CVS-31977.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix a test for TopK

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix TopK NGraph transformation and its test

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[CLDNN] Fix std::runtime_error missing (#871)

Temporary disable PriorBoxClustered tests due to rare sporadic failures (#892)

* Temporary disable PriorBoxClustered tests due to rare sporadic failures

* Added skip_tests_config for TransformationTests

[IE CLDNN] Fixed clone network to preserve original CNNNetwork (#876)

[IE CLDNN] Fix fsv16 -> bfyx reorder removal (#872)

[IE][Myriad] fix HW tiling (#866)

[IE CLDNN] fix perf for fsv16 global avg pooling (#878)

[IE CLDNN] Always use FP32 as intermediate type for fused quantize (#877)

[ nG ] Style-apply (#886)

[ nG ] Graph visualization (#807)

* [ nG ] Graph visualization

* Update visualize_tree.cpp

[IE CLDNN] Enable I64 const inputs for batch_to_space (#860)

[VPU][GT] Trivial permute optimization (#571)

* Transformation to eliminate trivial permute

* Minor changes in unit tests

* Replace trivial permutation with copy if input and output dims is equal

* Fix mergePermuteStages tests

* Small changes in the loop

* Add const modifier, change dimsVector type to SizeVector

* Change loop condition, rename valiable

* To reverse dimsVector

[IE Myriad] Added test InferWorksCorrectAfter9999Allocations (#709)

Actions CI: Enable nGraph Code style check (#863)

[IE VPU TESTS] Rewrite tests with deprecated API (#761)

* [IE VPU TESTS] Rewrite tests with deprecated API

* Minor changes

Co-authored-by: kora6 <kora6@github.com>

[IE CLDNN] Add support for I64 data type in clDNN plugin (#555)

Show error message if output file is not writable (#779)

Use default thread sanitizer linkage (#833)

GCC and CLang *default* sanitizer linkage differs (static vs. dynamic).
Prefer default behavior as alternate seen having issues.

Default (GN)U linker fails with unresolved symbols linking Clang built
binaries with sanitizer enabled. Force use LLVM linker lld for Clang
builds.

Sanitizer instrumentation and link flags should be retained for all
binaries. Updating samples cmake configuration to keep those flags
after unset logic at the ie_build_samples().

Fixed StridedSlice to Crop transformation  (#836)

* Fixed StridedSlice to Crop transformation to not apply when rank of data is changed

* Added unit test for StridedSlice to Crop transformation

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

[IE CLDNN] Added batch_to_space operation (#753)

Fix divide conversion for integer input type (#841)

[Python API] Fixate requirements (#834)

Fixed default args for Android build (#827)

Fix onnx slice by clipping `ends` to int32 domain (#603)

[GNA] Added support permute layer (#723)

* [GNA] Added GNA natively supported permute layer cases.

[IE VPU] Dynamic Broadcast tests (#737)

* [IE VPU] Enable StaticShapeBroadcast tests

* [IE VPU] DSR: support case when shape is output and input for stage

* [IE VPU] Enable Broadcast and Transpose tests

* [IE VPU] DSR: fix typo

* [IE VPU] Add assertion for numConsumer in DSR

* [IE VPU] Added CheckMyriadX helper method

* [IE VPU] New DSR assert for input->getInputTo

* [IE VPU] Fix myriad2 tests bug

Const folding and reference implementation for PriorBox(Clustered) ops (#785)

* Constant folding for PriorBox, PriorBoxClustered; Deleted PriorBoxIE, PriorBoxClusteredIE and transformations; Added unit tests; codestyle

* Delete debug info

* delete unnecessary convert_prior_to_ie_prior.hpp file

* fix ngraph reader tests; delete PriorBoxIE functional test

* fix for ngraph reader tests

* Apply review comment

* apply ngraph codestyle

* restore PriorBoxClustered tests in disabled state

add support for multiple scale factors in speech sample (#835)

Co-authored-by: Anna Alberska <anna.alberska@intel.com>

[IE VPU] Update firmware; enable convolution VPU OCL tests (#802)

[IE CLDNN] Added 6d tensor support in eltwise/scale primitives (#826)

[ci-skip][IE MKLDNN] Add Precision U16 in MKLDNN (#783)

[TESTS] fixes after rebase