[GNA] Added support permute layer (#723)

* [GNA] Added GNA natively supported permute layer cases.

[IE VPU] Dynamic Broadcast tests (#737)

* [IE VPU] Enable StaticShapeBroadcast tests

* [IE VPU] DSR: support case when shape is output and input for stage

* [IE VPU] Enable Broadcast and Transpose tests

* [IE VPU] DSR: fix typo

* [IE VPU] Add assertion for numConsumer in DSR

* [IE VPU] Added CheckMyriadX helper method

* [IE VPU] New DSR assert for input->getInputTo

* [IE VPU] Fix myriad2 tests bug

Const folding and reference implementation for PriorBox(Clustered) ops (#785)

* Constant folding for PriorBox, PriorBoxClustered; Deleted PriorBoxIE, PriorBoxClusteredIE and transformations; Added unit tests; codestyle

* Delete debug info

* delete unnecessary convert_prior_to_ie_prior.hpp file

* fix ngraph reader tests; delete PriorBoxIE functional test

* fix for ngraph reader tests

* Apply review comment

* apply ngraph codestyle

* restore PriorBoxClustered tests in disabled state

add support for multiple scale factors in speech sample (#835)

Co-authored-by: Anna Alberska <anna.alberska@intel.com>

[IE VPU] Update firmware; enable convolution VPU OCL tests (#802)

[IE CLDNN] Added 6d tensor support in eltwise/scale primitives (#826)

[ci-skip][IE MKLDNN] Add Precision U16 in MKLDNN (#783)

[TESTS] fixes after rebase

[CPU] mkldnn submodule up

[LPT] Fixed quantizeBlob routine for 3D case

[LPT] GPU tests were fixed

[LPT] [TEST] LayerTransformation test threshold was updated

[CPU] Gemm node: supported precisions U8 and I8 and added tests

[LPT] FullyConnected & Gemm tests

[CPU] Fixed weights candidate initialization in FC node

[LPT] Gemm and FullyConnected 3D improvement

[LPT] tests extending

[LPT] [Test] Low precision transformations functional tests infrastructure improvement

[LPT] FullyConnected transformation fix

[nGraph] Remove Reshape for 3D FullyConnected

[IE COMMON] [LPT] Concat asymmetric quantization with signed interval fix

[IE COMMON] [LPT] Support 3D layout for FullyConnected transformation

[CPU] Added custom implementations (power=0.5, power=-1.0) for Power node

[CPU][WA] Supported 3D layout for FullyConnected primitive

Extended jit uni depthwise primitive to support 3D inputs

[Common] Static analyzed issues. (#804)

[IE CLDNN] Better error message when output is not found (#824)

[LPT] [TEST] LayerTransformation test threshold was updated (#828)

[CPU] fix set up config for bin conv fused (#608)

[Python API] Fixate requirements versions (#830)

[Python API] Fix deprecation warnings (#812)

[LPT] [CPU] NormalizeL2 transformation (#662)

* [LPT] NormalizeL2 transformation

* [LPT] NormalizeL2 transformation tests improvement

* [CPU] Fixed depthwise injector aux_vec_count for broadcasting case

* [LPT] Normalize on GPU enabling

Co-authored-by: Zinoviev, Vladimir <vladimir.zinoviev@intel.com>
Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Add fixedscale(bias) components to Kaldi (#725)

* Added fixed scale(bias) components

* Successfully converted after adding fixed bias,scale components

* Added unittests

[IE CLDNN] Fix variable initialization issues (#816)

[ICV] Watchdog switch + ddr initialization (#554)

* [IE Myriad] Added XLinkBootFirmware method in XLink API for booting firmware buffer

* [IE Myriad] Patch firmware in mvnc. Added test to check device reset without connecting.

* [IE Myriad] Added option MOVIDIUS_DDR_TYPE for Myriad plugin

* [IE Myriad] Added tests for new option MOVIDIUS_DDR_TYPE

* [IE Myriad] Update firmware 1201 -> 1212

* [IE Myriad] Convolution3x3 tests are disabled due to firmware issue. #-32921

[IE TEST] Eltwise tests refactoring (#726)

* [IE TEST] Eltwise tests refactoring

* [IE TESTS] Fix comments

[GNA] Support changing the execution mode in runtime (#801)

Fix unit tests for select layer. (#638)

* Fix unit tests for select layer.

Implement support for opset3 EmbeddingBag ops (#546)

* [MO] Implement EmbeddingBag_3

* Transform dynamic sub-graph of Wide and Deep into EmbeddingSegmentsSum

- Expressed SparseWeightedSum sub-graph through EmbeddingSegmentsSum
- Removed experimental SparseWeightedSum layer
- Implemented tests for the transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag shape infer

* Fix EmbeddingSegmentsSum transformation for Wide and Deep

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingSegmentSum replacer after ports swap

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update package_BOM.txt

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add unit tests for EmbeddingXXX shape infer

* Fix ATen resolver

* Remove deleted files from BOM

* Add opset version to embedding_bag

* Use base class for EmbeddingBag

* Fix per_sample_weights case

* Fix EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag checks

* Fix ATen front transformation and merge conflicts

* Fix BOM

* Work around limitation for I64 input of W&D model

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Cleanup where operation to fix affect of WhereDecomposition transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix BOM

* Correct EmbeddingSegmentSum transform for Wide and Deep

Add casting segment ids to i32 and remove ConstToResult sub-graph.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update BOM with RemoveConstToResult transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add more comments for RemoveConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove useless logging in EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Small fixes

* Move EmbeddingBag resolving back to front phase

* Improve error messages

* Fix typo in unittests

* Reimplement sparse_reshape middle transform

Avoid deprecated API.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Clean-up graph after sparse_reshape and ConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformation #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
Co-authored-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Optimize 1x1 imad convolution kernel (#757)

Add commit links to memcheck report (#820)

Disable warnings-as-errors for ONNX target (#749)

* Disable warnings-as-errors for ONNX target

* Disable warnigs-as-errors for windows too

* Change WIN32 -> MSVC

[ MO ] Groupped conv fusion (#797)

Fixed the group convolution fusion pass to properly get the feature dim in NCHW layout case.

[LPT] [Test] DepthToSpace sporadic fail fix (#815)

Azure CI: increase timeout for Mac to 180 min

[IE CLDNN] Enable ShuffleChannels op (#787)

[LPT] [CPU] DepthToSpace transformation (#663)

* [LPT] [TEST] LayerTransformation generalization

* [LPT] DequantizationDetails extending

* [LPT] DepthToSpace transformation implementation

Azure: Add Ninja (#803)

* Azure: Add Ninja

* Fix 'Install Ninja' on Linux

* Fix bin dir path on Windows

* Add -Wno-unused-variable on Mac

* Add -Wno-error=unused-command-line-argument on Mac

* Set CXXFLAGS for Mac

* Improvements

* Fix BIN_DIR on Linux

[IE CLDNN] Enable DepthToSpace (#780)

Enabled DepthToSpace ngraph transformat
Updated implementation to support 5d and mode parameter
fsv16 direct support
Functional tests for GPU

it is duplicate of PR: #656, but without test modification (#794)

Disable Hw Avg Pooling for small output tensors if excludePad=true (#772)

add /wd4819 to disable C4819 warning, which is treated as error in win32 (#767)

Co-authored-by: jasonlee <jasonlee@qiyi.com>

Fix: ITT_INCLUDE_DIR was not correctly detected (#748)

[IE CLDNN] GEMM int8 optimization using MMAD macro (#635)

[CPU] supported ShuffleChannels and added tests (#636)

Save the name of output data if we remove previous layer (#760)

* Save the name of output data if we remove previous layer

* Added test

[GNA] Set default GNA library to GNA2 (#771)

[CPU] DepthToSpace review leftovers

Add ReduceL2 decomposition (#733)

* Add ReduceL2 decomposition

* Add ReduceL2 transformation tests

* Add const propagation unit test for ReduceL2

Fix hetero mode in speech sample - set config when loading network (#786)

[SAMPLES] Use defined constant instead of string (#788)

[IE][VPU][nGraph]: Fixes DTS transformations to properly keep outputs names (#734)

* NonZero, Broadcast

* Concat

* Gather

* [IE][VPU][nGraph]: Fixes DTS transformations to correctly keep outputs names

* [IE][VPU][nGraph]: Fixes dynamic to static shape nonzero tests

Co-authored-by: Roman Vyunov <roman.vyunov@intel.com>

[LPT] Output layers update fix (#754)

[IE CLDNN] Improve Gather performance and add fusing support (#736)

[IE CLDNN] Implement NormalizeL2 int8 kernels (#720)

Avoid loading of reader if it doesn't exist (#758)

* Avoid loading of reader if it doesn't exist

* Updated error messages

Fix Proposal for the case of 2 outputs (#773)

Added default value for 'aligned' in the ExperimentalDetectronROIFeatureExtractor for backward compatibility (#777)

Fixed backward compatibility issue that old IRs with ExperimentalDetectronROIFeatureExtractor operation cannot be loaded with the new IE

[IE CLDNN] Permute fused ops support (#642)

[CPU][BF16] Default Optimisation Capability of BF16 was enabled on CPX (#647)

Add support for ONNX Pad-11 (#744)

[GNA] Support 100 inputs, instead of 10 (#741)

DepthToSpace, SpaceToDepth layers optimizations (#706)

* [CPU] Updated DepthToSpace and SpaceToDepth layers to be conformant with the specification

The patch also includes n[d]hwc layout support as well as some optimizations

* [CPU][TESTS] Removed old DepthToSpace test since it doesn't corresponds to layer's specification

* [nGraph] Utilize CommonOptimizations pass with custom transformations callback

[ MO ] InterpolateConcat empty sources fix (#764)

[IE CLDNN] Disabled sporadic detection output tests (#740)

[IE CLDNN] Remove unused fused deps for FQ (#712)

Remove unused fused FQ kernel arguments to avoid extra setArg() calls which significantly reduces host overhead

[IE CLDNN] Implement EmbeddingBag operations (#623)

Implemented three operations: EmbeddingBagPackedSum,
EmbeddingBagOffsetsSum and EmbeddingSegmentsSum. These operations do
the same work but have a different format of inputs.

[MKLDNN_PLUGIN] Convolution node: skip initializing of primitive descriptors for planar layout if there is already jit primitive (#672)

Revert "Enabled thread tests (#717)" (#756)

This reverts commit 99a2423ec0dc6d4570ca989be97da02376b3e169.

MO should support LRN k param with caffe model, rather than fixed to 1 (#716)

Co-authored-by: yipengqu <yipeng.qu@intel.com>

[Docs] Fixes in readme files: (#750)

- change repo name to openvino
- update driver version
- fix path to samples data
- remove section about Movidius driver installation
- change latest release to 2020.3
- merge fixes in install_dependencies.sh from 2020 branch

[IE CLDNN] Added fusing suport to all pooling kernels (#689)

adds fusing support to all available pooling kernels
tests all possible input type/output type configurations
fixes minor bug in max pooling in pooling_gpu_test.cpp
fixed minor bug with yxbf format in pooling_gpu_ref and pooling_gpu_int8_ref kernels
fixes bug with b_fs_yx_fsv32 format in pooling_gpu kernel
resolves bug with max pooling accuracy missmatch in case of non zero pad end layer parameter
resolves average pooling accuracy missmatch in case of non zero pad end layer parameter

[IE CLDNN] Fixed stack overflow in calculate_prior_boxes pass (#747)

The problem behind this error was in program_impl::init_graph() where in calculate_prior_boxes we are trying to calculate output layout of an entire network recursively which causes stack overflow. Calculating output layouts beforehand in processing order fixes this issue.

Add 'aligned' param to ExperimentalDetectronROIFeatureExtractor for CPU plugin and MO

Python API for Assign, ReadValue and ExtractImagePatches (#719)

mkldnn_memory_solver.hpp: include stdint.h to avoid build error (#729)

fix the following compile error:

inference-engine/src/mkldnn_plugin/mkldnn_memory_solver.hpp:60:9: error: 'int64_t' does not name a type
|    60 |         int64_t size;
|       |         ^~~~~~~

include stdint.h to fix this.

Signed-off-by: Liwei Song <liwei.song@windriver.com>

[LPT] [TEST] Sporadic test fail fix (workaround) (#742)

[ nGraph ] FP16 for evaluate (#722)

Use pre-defined DB collection names in memcheck_upload.py CLI (#651)

Use argparses `choices` for `--db_collection` option.

Also removed unnecessary redefinition of `db_collection` in memcheck_upload.py

[IE CLDNN] Improve kernel selection for b_fs_yx_fsv16 layout and optimize Convolution kernels (#730)

[IE TESTS] Move InferRequestTests (#618)

* [IE TESTS] move Infer_request tests

* fix v0

* [ci-skip][IE TESTS] test update basic class v0

* [ci-skip][IE TESTS] test update basic class v1

* [ci-skip][IE TESTS] test update basic class

* [ci-skip][IE TESTS] test update basic class v3

* [ci-skip][IE TESTS] test update basic class final versions

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] fix codestaly and comment

Co-authored-by: Irina Efode <irina.efode@intel.com>

Skip some functional tests on VPU (#568)

[ONNX] GRU and RNN operators. (#607)

* Create generic RecurrentSequenceDirection enum.

* Helper class RecurrentSequenceOp.

* Add ONNX GRU & RNN operators.

* Use OutputVector.

* Update doc.

* Add UTs for GRU and skip them on IE_CPU

* Add UT for bidirectional mode and fix it.

* Normalize activation function name case.

* Add unit-tests for RNN operator.

* UT for GRU with linear_before_reset set to true.

* Fix ONNX GRU for linear_before_reset case.

* Remove unnecessary symbol export macro.

* Fix CentOS error.

* Update UTs.

- Update few tests accuracy tolerance
- Update rnn_fwd_activations with new reference values and model.

* Review comment: add check for static shape

* Add UT for RNN with constant inputs W, R.

* Skip UT with const W,R on IE_CPU

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#711)

* [IE][VPU]: Enables pass for propagating dynamism to network outputs

If network had dynamic output and then myriad Front-End inserted
convert stage at the end (to convert FP16 -> FP32 - output precision)
then dynamism would not be propagated - we have convert stage that
has dynamic input, but static output. As a result, we have run-time
error in Convert kernel: input and output shapes do not match.

At the moment, pass supports only Convert stage as output stage
over which we should propagate dynamism to outputs.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes parse DSR in case of output data

Replacing stage output must be done after replacing
data to shape parent, because the last one may access
original parent producer, but after replacing stage output
it'd not have one.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes MacOS build

* [IE][VPU]: Fixes shape data naming convention

Plugin part assumes that if there is dynamic data object, that's
represented as 2 different data objects (data and shape), then
shape data object has name = data object name + @shape suffix.

Pass that creates new dynamic data object should respect that
assumption.

* [IE][VPU]: Fixes dis-alignment in names of data objects representing dynamic data object

MyriadInferRequest::GetResult assumes that in case of dynamic data object
"data" data object and "shape" data object will have aligned names:
"shape" name = "data" name + "@shape" suffix.

In order to meet that expectation propagating dynamism pass must use output
data object name as prefix. Additionally, propagating pass must be applied
before converting shape notation pass in order to make output shape in IE
notation, not MDK, as MyriadInferRequest::GetResult is expecting.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

 Remove deprecated layer test class (#610)

* Update activation layer test

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Get rid of LayerTestsCommonDeprecated class

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Fix activation tests instantiations for gpu and myriad plugins

* Remove leaking inferWithInterp function

[IE CLDNN] Activation with fused quantize bug fix (#613)

fixed bug connected with quantization fusing to activation
added scale and activation fusing support
added corresponding tests

Updated deprecated messages (#715)

[LPT] Output layers fix (#677)

Enabled thread tests (#717)

[CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations. (#576)

* [CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations.

* Performance fix

* Perf v2

* Code style

add PassManagerSettings & create more legible description for concat quantization exception and a test for it (#563)