Pass SizeVector by const reference in ie_layout.hpp (#965)

[IE TESTS] disable Some myriad tests on Win (#763)

* [IE TESTS] disable Some myriad tests on Windisable Some myriad tests on Win

* Skip test with todo

Use creators only for default opsets (#948)

[IE][VPU]: Enables dynamic output from middle of network support (#930)

* [IE][VPU]: Enables dynamic output from middle of network support

This feature is very useful for debugging dynamic networks.
Changes include modification of existing addCopyForOutputsInsideNetwork
pass to respect dynamic outputs and moving propagateDynamismToOutputs
pass after addCopyForOutputsInsideNetwork. The motivation for last change
is to avoid unnecessary copy stages due to not synchronized logic, because
previously:

* First in Front-End (parseDSR) we mark shape data object as output
* Then in propagateDynamismToOutputs we insert copy stage for that case.
  It's necessary if shape data object had other consumers
* Then in convertShapeNotation we insert Gather consumer for output data object
* Finally, addCopyForOutputsInsideNetwork inserts one more copy stage to leave
  output data object without consumers.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Replaces attrs.has + attrs.get with attrs.getOrDefault

* [IE][VPU]: Fixes setting IE-notation and converted-notation to the same data object

[GNA] Added test ScaleShift and fixed power layer with non zero shift (#774)

* [GNA] Added test ScaleShift and fixed power layer with non zero shift

Removed deprecated error listener, getmappedtopology (#915)

Removed PluginDispatcher; IEPlugin from python API (#920)

Support fp16 networks (#752)

* Modifications to support fp16 networks in KMB-plugin

* StridedSliceIE is removed

* One function convertFunctionToICNNNetwork with default parameter

* Some little changes in function convertFunctionToICNNNetwork()

* Delete some spaces in code (style changes)

* Edit code style

* Edit code style one more

* Edit code style again

* Remove row with Transpose()

[IE CLDNN] Add resample improvements (#933)

This change:
- extends concat in-place optimization for resample on input
- adds resample primitive int8 support for bilinear mode
- fixes some potential issues with offset calculations with in8

[Python API] Fix long inference (#938)

[IE CLDNN] Fix inserting reorders in bwd direction (#811)

[IE VPU] Dynamic Concat fixes (#842)

* [IE VPU] Dynamic Concat fixes

* [IE VPU] Update firmware

[IE VPU] Enable variable number of inputs for ExpPriorGridGenerator (#855)

* [IE VPU] Enable variable number of inputs for ExpPriorGridGenerator layer

* [IE VPU] Add test cases for ExpPriorGridGenerator layer with less than three inputs

CMAKE: removed conditional compilation for C API (#861)

Updated dates of removal for deprecated API (#912)

TESTS: Added test for parallel LoadNetwork with accuracy check (#910)

Docs 2021 1 (#901)

* Initial state of dev docs

* Ported docs for quantized networks

* Integrate quantization guide + transformations template

* Fixes

Fix NopElimination (#891)

Fix preserving names of output layers after TopK NGraph transformation (#843)

* Fix preserving names of output layers after TopK NGraph transformation

It helps to infer semantic-segmentation-adas-0001 model. See CVS-31977.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix a test for TopK

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix TopK NGraph transformation and its test

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[CLDNN] Fix std::runtime_error missing (#871)

Temporary disable PriorBoxClustered tests due to rare sporadic failures (#892)

* Temporary disable PriorBoxClustered tests due to rare sporadic failures

* Added skip_tests_config for TransformationTests

[IE CLDNN] Fixed clone network to preserve original CNNNetwork (#876)

[IE CLDNN] Fix fsv16 -> bfyx reorder removal (#872)

[IE][Myriad] fix HW tiling (#866)

[IE CLDNN] fix perf for fsv16 global avg pooling (#878)

[IE CLDNN] Always use FP32 as intermediate type for fused quantize (#877)

[ nG ] Style-apply (#886)

[ nG ] Graph visualization (#807)

* [ nG ] Graph visualization

* Update visualize_tree.cpp

[IE CLDNN] Enable I64 const inputs for batch_to_space (#860)

[VPU][GT] Trivial permute optimization (#571)

* Transformation to eliminate trivial permute

* Minor changes in unit tests

* Replace trivial permutation with copy if input and output dims is equal

* Fix mergePermuteStages tests

* Small changes in the loop

* Add const modifier, change dimsVector type to SizeVector

* Change loop condition, rename valiable

* To reverse dimsVector

[IE Myriad] Added test InferWorksCorrectAfter9999Allocations (#709)

Actions CI: Enable nGraph Code style check (#863)

[IE VPU TESTS] Rewrite tests with deprecated API (#761)

* [IE VPU TESTS] Rewrite tests with deprecated API

* Minor changes

Co-authored-by: kora6 <kora6@github.com>

[IE CLDNN] Add support for I64 data type in clDNN plugin (#555)

Show error message if output file is not writable (#779)

Use default thread sanitizer linkage (#833)

GCC and CLang *default* sanitizer linkage differs (static vs. dynamic).
Prefer default behavior as alternate seen having issues.

Default (GN)U linker fails with unresolved symbols linking Clang built
binaries with sanitizer enabled. Force use LLVM linker lld for Clang
builds.

Sanitizer instrumentation and link flags should be retained for all
binaries. Updating samples cmake configuration to keep those flags
after unset logic at the ie_build_samples().

Fixed StridedSlice to Crop transformation  (#836)

* Fixed StridedSlice to Crop transformation to not apply when rank of data is changed

* Added unit test for StridedSlice to Crop transformation

Co-authored-by: Evgeny Lazarev <elazarev.nnov@gmail.com>

[IE CLDNN] Added batch_to_space operation (#753)

Fix divide conversion for integer input type (#841)

[Python API] Fixate requirements (#834)

Fixed default args for Android build (#827)

Fix onnx slice by clipping `ends` to int32 domain (#603)

[GNA] Added support permute layer (#723)

* [GNA] Added GNA natively supported permute layer cases.

[IE VPU] Dynamic Broadcast tests (#737)

* [IE VPU] Enable StaticShapeBroadcast tests

* [IE VPU] DSR: support case when shape is output and input for stage

* [IE VPU] Enable Broadcast and Transpose tests

* [IE VPU] DSR: fix typo

* [IE VPU] Add assertion for numConsumer in DSR

* [IE VPU] Added CheckMyriadX helper method

* [IE VPU] New DSR assert for input->getInputTo

* [IE VPU] Fix myriad2 tests bug

Const folding and reference implementation for PriorBox(Clustered) ops (#785)

* Constant folding for PriorBox, PriorBoxClustered; Deleted PriorBoxIE, PriorBoxClusteredIE and transformations; Added unit tests; codestyle

* Delete debug info

* delete unnecessary convert_prior_to_ie_prior.hpp file

* fix ngraph reader tests; delete PriorBoxIE functional test

* fix for ngraph reader tests

* Apply review comment

* apply ngraph codestyle

* restore PriorBoxClustered tests in disabled state

add support for multiple scale factors in speech sample (#835)

Co-authored-by: Anna Alberska <anna.alberska@intel.com>

[IE VPU] Update firmware; enable convolution VPU OCL tests (#802)

[IE CLDNN] Added 6d tensor support in eltwise/scale primitives (#826)

[ci-skip][IE MKLDNN] Add Precision U16 in MKLDNN (#783)

[TESTS] fixes after rebase

[CPU] mkldnn submodule up

[LPT] Fixed quantizeBlob routine for 3D case

[LPT] GPU tests were fixed

[LPT] [TEST] LayerTransformation test threshold was updated

[CPU] Gemm node: supported precisions U8 and I8 and added tests

[LPT] FullyConnected & Gemm tests

[CPU] Fixed weights candidate initialization in FC node

[LPT] Gemm and FullyConnected 3D improvement

[LPT] tests extending

[LPT] [Test] Low precision transformations functional tests infrastructure improvement

[LPT] FullyConnected transformation fix

[nGraph] Remove Reshape for 3D FullyConnected

[IE COMMON] [LPT] Concat asymmetric quantization with signed interval fix

[IE COMMON] [LPT] Support 3D layout for FullyConnected transformation

[CPU] Added custom implementations (power=0.5, power=-1.0) for Power node

[CPU][WA] Supported 3D layout for FullyConnected primitive

Extended jit uni depthwise primitive to support 3D inputs

[Common] Static analyzed issues. (#804)

[IE CLDNN] Better error message when output is not found (#824)

[LPT] [TEST] LayerTransformation test threshold was updated (#828)

[CPU] fix set up config for bin conv fused (#608)

[Python API] Fixate requirements versions (#830)

[Python API] Fix deprecation warnings (#812)

[LPT] [CPU] NormalizeL2 transformation (#662)

* [LPT] NormalizeL2 transformation

* [LPT] NormalizeL2 transformation tests improvement

* [CPU] Fixed depthwise injector aux_vec_count for broadcasting case

* [LPT] Normalize on GPU enabling

Co-authored-by: Zinoviev, Vladimir <vladimir.zinoviev@intel.com>
Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Add fixedscale(bias) components to Kaldi (#725)

* Added fixed scale(bias) components

* Successfully converted after adding fixed bias,scale components

* Added unittests

[IE CLDNN] Fix variable initialization issues (#816)

[ICV] Watchdog switch + ddr initialization (#554)

* [IE Myriad] Added XLinkBootFirmware method in XLink API for booting firmware buffer

* [IE Myriad] Patch firmware in mvnc. Added test to check device reset without connecting.

* [IE Myriad] Added option MOVIDIUS_DDR_TYPE for Myriad plugin

* [IE Myriad] Added tests for new option MOVIDIUS_DDR_TYPE

* [IE Myriad] Update firmware 1201 -> 1212

* [IE Myriad] Convolution3x3 tests are disabled due to firmware issue. #-32921

[IE TEST] Eltwise tests refactoring (#726)

* [IE TEST] Eltwise tests refactoring

* [IE TESTS] Fix comments

[GNA] Support changing the execution mode in runtime (#801)

Fix unit tests for select layer. (#638)

* Fix unit tests for select layer.

Implement support for opset3 EmbeddingBag ops (#546)

* [MO] Implement EmbeddingBag_3

* Transform dynamic sub-graph of Wide and Deep into EmbeddingSegmentsSum

- Expressed SparseWeightedSum sub-graph through EmbeddingSegmentsSum
- Removed experimental SparseWeightedSum layer
- Implemented tests for the transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag shape infer

* Fix EmbeddingSegmentsSum transformation for Wide and Deep

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingSegmentSum replacer after ports swap

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update package_BOM.txt

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add unit tests for EmbeddingXXX shape infer

* Fix ATen resolver

* Remove deleted files from BOM

* Add opset version to embedding_bag

* Use base class for EmbeddingBag

* Fix per_sample_weights case

* Fix EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag checks

* Fix ATen front transformation and merge conflicts

* Fix BOM

* Work around limitation for I64 input of W&D model

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Cleanup where operation to fix affect of WhereDecomposition transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix BOM

* Correct EmbeddingSegmentSum transform for Wide and Deep

Add casting segment ids to i32 and remove ConstToResult sub-graph.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update BOM with RemoveConstToResult transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add more comments for RemoveConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove useless logging in EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Small fixes

* Move EmbeddingBag resolving back to front phase

* Improve error messages

* Fix typo in unittests

* Reimplement sparse_reshape middle transform

Avoid deprecated API.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Clean-up graph after sparse_reshape and ConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformation #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
Co-authored-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Optimize 1x1 imad convolution kernel (#757)

Add commit links to memcheck report (#820)

Disable warnings-as-errors for ONNX target (#749)

* Disable warnings-as-errors for ONNX target

* Disable warnigs-as-errors for windows too

* Change WIN32 -> MSVC

[ MO ] Groupped conv fusion (#797)

Fixed the group convolution fusion pass to properly get the feature dim in NCHW layout case.

[LPT] [Test] DepthToSpace sporadic fail fix (#815)

Azure CI: increase timeout for Mac to 180 min

[IE CLDNN] Enable ShuffleChannels op (#787)

[LPT] [CPU] DepthToSpace transformation (#663)

* [LPT] [TEST] LayerTransformation generalization

* [LPT] DequantizationDetails extending

* [LPT] DepthToSpace transformation implementation

Azure: Add Ninja (#803)

* Azure: Add Ninja

* Fix 'Install Ninja' on Linux

* Fix bin dir path on Windows

* Add -Wno-unused-variable on Mac

* Add -Wno-error=unused-command-line-argument on Mac

* Set CXXFLAGS for Mac

* Improvements

* Fix BIN_DIR on Linux

[IE CLDNN] Enable DepthToSpace (#780)

Enabled DepthToSpace ngraph transformat
Updated implementation to support 5d and mode parameter
fsv16 direct support
Functional tests for GPU

it is duplicate of PR: #656, but without test modification (#794)

Disable Hw Avg Pooling for small output tensors if excludePad=true (#772)

add /wd4819 to disable C4819 warning, which is treated as error in win32 (#767)

Co-authored-by: jasonlee <jasonlee@qiyi.com>

Fix: ITT_INCLUDE_DIR was not correctly detected (#748)

[IE CLDNN] GEMM int8 optimization using MMAD macro (#635)

[CPU] supported ShuffleChannels and added tests (#636)

Save the name of output data if we remove previous layer (#760)

* Save the name of output data if we remove previous layer

* Added test

[GNA] Set default GNA library to GNA2 (#771)

[CPU] DepthToSpace review leftovers

Add ReduceL2 decomposition (#733)

* Add ReduceL2 decomposition

* Add ReduceL2 transformation tests

* Add const propagation unit test for ReduceL2