[Python API] Fix deprecation warnings (#812)

[LPT] [CPU] NormalizeL2 transformation (#662)

* [LPT] NormalizeL2 transformation

* [LPT] NormalizeL2 transformation tests improvement

* [CPU] Fixed depthwise injector aux_vec_count for broadcasting case

* [LPT] Normalize on GPU enabling

Co-authored-by: Zinoviev, Vladimir <vladimir.zinoviev@intel.com>
Co-authored-by: dmitrygo <dmitry.gorokhov@intel.com>

Add fixedscale(bias) components to Kaldi (#725)

* Added fixed scale(bias) components

* Successfully converted after adding fixed bias,scale components

* Added unittests

[IE CLDNN] Fix variable initialization issues (#816)

[ICV] Watchdog switch + ddr initialization (#554)

* [IE Myriad] Added XLinkBootFirmware method in XLink API for booting firmware buffer

* [IE Myriad] Patch firmware in mvnc. Added test to check device reset without connecting.

* [IE Myriad] Added option MOVIDIUS_DDR_TYPE for Myriad plugin

* [IE Myriad] Added tests for new option MOVIDIUS_DDR_TYPE

* [IE Myriad] Update firmware 1201 -> 1212

* [IE Myriad] Convolution3x3 tests are disabled due to firmware issue. #-32921

[IE TEST] Eltwise tests refactoring (#726)

* [IE TEST] Eltwise tests refactoring

* [IE TESTS] Fix comments

[GNA] Support changing the execution mode in runtime (#801)

Fix unit tests for select layer. (#638)

* Fix unit tests for select layer.

Implement support for opset3 EmbeddingBag ops (#546)

* [MO] Implement EmbeddingBag_3

* Transform dynamic sub-graph of Wide and Deep into EmbeddingSegmentsSum

- Expressed SparseWeightedSum sub-graph through EmbeddingSegmentsSum
- Removed experimental SparseWeightedSum layer
- Implemented tests for the transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag shape infer

* Fix EmbeddingSegmentsSum transformation for Wide and Deep

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingSegmentSum replacer after ports swap

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update package_BOM.txt

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add unit tests for EmbeddingXXX shape infer

* Fix ATen resolver

* Remove deleted files from BOM

* Add opset version to embedding_bag

* Use base class for EmbeddingBag

* Fix per_sample_weights case

* Fix EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix EmbeddingBag checks

* Fix ATen front transformation and merge conflicts

* Fix BOM

* Work around limitation for I64 input of W&D model

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Cleanup where operation to fix affect of WhereDecomposition transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix BOM

* Correct EmbeddingSegmentSum transform for Wide and Deep

Add casting segment ids to i32 and remove ConstToResult sub-graph.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update BOM with RemoveConstToResult transform

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add more comments for RemoveConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove useless logging in EmbeddingSegmentsSum transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Small fixes

* Move EmbeddingBag resolving back to front phase

* Improve error messages

* Fix typo in unittests

* Reimplement sparse_reshape middle transform

Avoid deprecated API.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Clean-up graph after sparse_reshape and ConstToResult transformation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix clean-up for transformation #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
Co-authored-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Optimize 1x1 imad convolution kernel (#757)

Add commit links to memcheck report (#820)

Disable warnings-as-errors for ONNX target (#749)

* Disable warnings-as-errors for ONNX target

* Disable warnigs-as-errors for windows too

* Change WIN32 -> MSVC

[ MO ] Groupped conv fusion (#797)

Fixed the group convolution fusion pass to properly get the feature dim in NCHW layout case.

[LPT] [Test] DepthToSpace sporadic fail fix (#815)

Azure CI: increase timeout for Mac to 180 min

[IE CLDNN] Enable ShuffleChannels op (#787)

[LPT] [CPU] DepthToSpace transformation (#663)

* [LPT] [TEST] LayerTransformation generalization

* [LPT] DequantizationDetails extending

* [LPT] DepthToSpace transformation implementation

Azure: Add Ninja (#803)

* Azure: Add Ninja

* Fix 'Install Ninja' on Linux

* Fix bin dir path on Windows

* Add -Wno-unused-variable on Mac

* Add -Wno-error=unused-command-line-argument on Mac

* Set CXXFLAGS for Mac

* Improvements

* Fix BIN_DIR on Linux

[IE CLDNN] Enable DepthToSpace (#780)

Enabled DepthToSpace ngraph transformat
Updated implementation to support 5d and mode parameter
fsv16 direct support
Functional tests for GPU

it is duplicate of PR: #656, but without test modification (#794)

Disable Hw Avg Pooling for small output tensors if excludePad=true (#772)

add /wd4819 to disable C4819 warning, which is treated as error in win32 (#767)

Co-authored-by: jasonlee <jasonlee@qiyi.com>

Fix: ITT_INCLUDE_DIR was not correctly detected (#748)

[IE CLDNN] GEMM int8 optimization using MMAD macro (#635)

[CPU] supported ShuffleChannels and added tests (#636)

Save the name of output data if we remove previous layer (#760)

* Save the name of output data if we remove previous layer

* Added test

[GNA] Set default GNA library to GNA2 (#771)

[CPU] DepthToSpace review leftovers

Add ReduceL2 decomposition (#733)

* Add ReduceL2 decomposition

* Add ReduceL2 transformation tests

* Add const propagation unit test for ReduceL2

Fix hetero mode in speech sample - set config when loading network (#786)

[SAMPLES] Use defined constant instead of string (#788)

[IE][VPU][nGraph]: Fixes DTS transformations to properly keep outputs names (#734)

* NonZero, Broadcast

* Concat

* Gather

* [IE][VPU][nGraph]: Fixes DTS transformations to correctly keep outputs names

* [IE][VPU][nGraph]: Fixes dynamic to static shape nonzero tests

Co-authored-by: Roman Vyunov <roman.vyunov@intel.com>

[LPT] Output layers update fix (#754)

[IE CLDNN] Improve Gather performance and add fusing support (#736)

[IE CLDNN] Implement NormalizeL2 int8 kernels (#720)

Avoid loading of reader if it doesn't exist (#758)

* Avoid loading of reader if it doesn't exist

* Updated error messages

Fix Proposal for the case of 2 outputs (#773)

Added default value for 'aligned' in the ExperimentalDetectronROIFeatureExtractor for backward compatibility (#777)

Fixed backward compatibility issue that old IRs with ExperimentalDetectronROIFeatureExtractor operation cannot be loaded with the new IE

[IE CLDNN] Permute fused ops support (#642)

[CPU][BF16] Default Optimisation Capability of BF16 was enabled on CPX (#647)

Add support for ONNX Pad-11 (#744)

[GNA] Support 100 inputs, instead of 10 (#741)

DepthToSpace, SpaceToDepth layers optimizations (#706)

* [CPU] Updated DepthToSpace and SpaceToDepth layers to be conformant with the specification

The patch also includes n[d]hwc layout support as well as some optimizations

* [CPU][TESTS] Removed old DepthToSpace test since it doesn't corresponds to layer's specification

* [nGraph] Utilize CommonOptimizations pass with custom transformations callback

[ MO ] InterpolateConcat empty sources fix (#764)

[IE CLDNN] Disabled sporadic detection output tests (#740)

[IE CLDNN] Remove unused fused deps for FQ (#712)

Remove unused fused FQ kernel arguments to avoid extra setArg() calls which significantly reduces host overhead

[IE CLDNN] Implement EmbeddingBag operations (#623)

Implemented three operations: EmbeddingBagPackedSum,
EmbeddingBagOffsetsSum and EmbeddingSegmentsSum. These operations do
the same work but have a different format of inputs.

[MKLDNN_PLUGIN] Convolution node: skip initializing of primitive descriptors for planar layout if there is already jit primitive (#672)

Revert "Enabled thread tests (#717)" (#756)

This reverts commit 99a2423ec0dc6d4570ca989be97da02376b3e169.

MO should support LRN k param with caffe model, rather than fixed to 1 (#716)

Co-authored-by: yipengqu <yipeng.qu@intel.com>

[Docs] Fixes in readme files: (#750)

- change repo name to openvino
- update driver version
- fix path to samples data
- remove section about Movidius driver installation
- change latest release to 2020.3
- merge fixes in install_dependencies.sh from 2020 branch

[IE CLDNN] Added fusing suport to all pooling kernels (#689)

adds fusing support to all available pooling kernels
tests all possible input type/output type configurations
fixes minor bug in max pooling in pooling_gpu_test.cpp
fixed minor bug with yxbf format in pooling_gpu_ref and pooling_gpu_int8_ref kernels
fixes bug with b_fs_yx_fsv32 format in pooling_gpu kernel
resolves bug with max pooling accuracy missmatch in case of non zero pad end layer parameter
resolves average pooling accuracy missmatch in case of non zero pad end layer parameter

[IE CLDNN] Fixed stack overflow in calculate_prior_boxes pass (#747)

The problem behind this error was in program_impl::init_graph() where in calculate_prior_boxes we are trying to calculate output layout of an entire network recursively which causes stack overflow. Calculating output layouts beforehand in processing order fixes this issue.

Add 'aligned' param to ExperimentalDetectronROIFeatureExtractor for CPU plugin and MO

Python API for Assign, ReadValue and ExtractImagePatches (#719)

mkldnn_memory_solver.hpp: include stdint.h to avoid build error (#729)

fix the following compile error:

inference-engine/src/mkldnn_plugin/mkldnn_memory_solver.hpp:60:9: error: 'int64_t' does not name a type
|    60 |         int64_t size;
|       |         ^~~~~~~

include stdint.h to fix this.

Signed-off-by: Liwei Song <liwei.song@windriver.com>

[LPT] [TEST] Sporadic test fail fix (workaround) (#742)

[ nGraph ] FP16 for evaluate (#722)

Use pre-defined DB collection names in memcheck_upload.py CLI (#651)

Use argparses `choices` for `--db_collection` option.

Also removed unnecessary redefinition of `db_collection` in memcheck_upload.py

[IE CLDNN] Improve kernel selection for b_fs_yx_fsv16 layout and optimize Convolution kernels (#730)

[IE TESTS] Move InferRequestTests (#618)

* [IE TESTS] move Infer_request tests

* fix v0

* [ci-skip][IE TESTS] test update basic class v0

* [ci-skip][IE TESTS] test update basic class v1

* [ci-skip][IE TESTS] test update basic class

* [ci-skip][IE TESTS] test update basic class v3

* [ci-skip][IE TESTS] test update basic class final versions

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] fix codestaly and comment

Co-authored-by: Irina Efode <irina.efode@intel.com>

Skip some functional tests on VPU (#568)

[ONNX] GRU and RNN operators. (#607)

* Create generic RecurrentSequenceDirection enum.

* Helper class RecurrentSequenceOp.

* Add ONNX GRU & RNN operators.

* Use OutputVector.

* Update doc.

* Add UTs for GRU and skip them on IE_CPU

* Add UT for bidirectional mode and fix it.

* Normalize activation function name case.

* Add unit-tests for RNN operator.

* UT for GRU with linear_before_reset set to true.

* Fix ONNX GRU for linear_before_reset case.

* Remove unnecessary symbol export macro.

* Fix CentOS error.

* Update UTs.

- Update few tests accuracy tolerance
- Update rnn_fwd_activations with new reference values and model.

* Review comment: add check for static shape

* Add UT for RNN with constant inputs W, R.

* Skip UT with const W,R on IE_CPU

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#711)

* [IE][VPU]: Enables pass for propagating dynamism to network outputs

If network had dynamic output and then myriad Front-End inserted
convert stage at the end (to convert FP16 -> FP32 - output precision)
then dynamism would not be propagated - we have convert stage that
has dynamic input, but static output. As a result, we have run-time
error in Convert kernel: input and output shapes do not match.

At the moment, pass supports only Convert stage as output stage
over which we should propagate dynamism to outputs.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes parse DSR in case of output data

Replacing stage output must be done after replacing
data to shape parent, because the last one may access
original parent producer, but after replacing stage output
it'd not have one.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes MacOS build

* [IE][VPU]: Fixes shape data naming convention

Plugin part assumes that if there is dynamic data object, that's
represented as 2 different data objects (data and shape), then
shape data object has name = data object name + @shape suffix.

Pass that creates new dynamic data object should respect that
assumption.

* [IE][VPU]: Fixes dis-alignment in names of data objects representing dynamic data object

MyriadInferRequest::GetResult assumes that in case of dynamic data object
"data" data object and "shape" data object will have aligned names:
"shape" name = "data" name + "@shape" suffix.

In order to meet that expectation propagating dynamism pass must use output
data object name as prefix. Additionally, propagating pass must be applied
before converting shape notation pass in order to make output shape in IE
notation, not MDK, as MyriadInferRequest::GetResult is expecting.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

 Remove deprecated layer test class (#610)

* Update activation layer test

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Get rid of LayerTestsCommonDeprecated class

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Fix activation tests instantiations for gpu and myriad plugins

* Remove leaking inferWithInterp function

[IE CLDNN] Activation with fused quantize bug fix (#613)

fixed bug connected with quantization fusing to activation
added scale and activation fusing support
added corresponding tests

Updated deprecated messages (#715)

[LPT] Output layers fix (#677)

Enabled thread tests (#717)

[CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations. (#576)

* [CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations.

* Performance fix

* Perf v2

* Code style

add PassManagerSettings & create more legible description for concat quantization exception and a test for it (#563)

[Jenkinsfile] Add failFast parameter (#721)

It allows us to rebuild Jenkins build and wait until all stages are finished despite of some of them may fail

Imironov/cvs 31297 add yolov4 support (#594)

* Add transformation of softplus operation into log(1.0 + exp(x)).

[IE][Myriad] Gather: add test case (#644)

Updated DeconvolutionIE to support dynamic shapes (#671)

* Updated DeconvolutionIE to support dynamic shapes

* Updated DeconvolutionIE to support output_shape input

* Updated ConvertConvolutions pass

[IE CLDNN] Fixed names mapping chain in runtime graph to respect original names (#599)

Add parallel downloads to stress tests (#678)

specificCreator for Transpose operation (#713)

* Updated Transpose node convertor; replaced get_vector with cast_vector

* Replaced NodeCreator with specificCreator

Enable Control Flow Guard for Windows binaries (#714)

Control Flow Guard is security option.

Revert "Add ittnotify from IntelSEAPI"

This reverts commit 0583b37a14f7f5e4514d51f4a90818e5d42b57ba.

Revert "Use ittnotify from thirdparty"

This reverts commit 3863656f446bdaa1fa7664127e315fcd97d0ef7e.

Remove TopKnormalizer from MO IR Reader transformation_list (#590)

* Remove TopKnormalizer from transformation_list and added call of normalize_outputs to fix read/save of some models

[IE VPU] Enable s32->u8 conversion (#699)

Align MO requirements files (#710)

[IE CLDNN] Quantized deeplabv3 optimizations (#646)

Enabled dilation for imad dw fsv16 kernel
Added argmax and mutable_data to fsv16 white list
Enabled byxf input for quantize scale_shift kernel

Use ittnotify from thirdparty

VTune ittnotify lack of support aarch64. Switching to use ittnotify
in sources to support any target architecture.

Add ittnotify from IntelSEAPI

Adding ittnotify component of https://github.com/intel/IntelSEAPI

commit 88a56e0ecd162667c7afd2ee9969221d62a32509 (HEAD -> master, origin/master, origin/HEAD)
Merge: 6d743e1 809062a
Author: Alex <alexander.a.raud@intel.com>
Date:   Wed Jul 10 15:06:46 2019 -0700

[VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero (#658)

* [VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero

* [VPU][Tests] Adopt old tests to work with reverted indices

* [VPU] Update firmware

[IE Python API] fix TensorDesc test file name (#701)

[IE VPU] OutShapeOfReshape per-layer tests (#631)

* [IE VPU] OutShapeOfReshape per-layer tests

* [IE VPU] Update firmware

* [IE VPU] OutShapeOfReshape: get rid of code duplication

Added speech recognition demo package for centOS (#682)

[IE] Fix build error (#703)

Missing changes in transformation library due to IE API dependency removal.

[IE CLDNN] Free up first copy of weights/biases that were transferred to USM device memory (#561)

Fix SparseWeightedSum transform for Wide and Deep (#698)

WhereDecomposition transform is applied to Where operation in for-garbage sub-graph remained after SparseWeightedSum transform.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Prefer bf(wz)yx format for reshape (#691)

Performance improvement for icnet-camvid model

Removed dependency on Inference Engine from transformation library (#680)

* Removed dependency on Inference Engine from transformation library

* Change transformations export macro

* Fixed comments

Reshape-Permute-Reshape pattern to DepthToSpace layer transformation (#601)

* implemented depth_to_space transformation

* renaming

* added functional tests, fixed mistakes in implementation of the transformation

* disable ConvertSpaceToDepth/ConvertDepthToSpace transformation for CPU plugin, enable DepthToSpaceFusion for CPU plugin only, add specific creators

* fix wrong include

* fix for functional tests: set transformation callback

* revert callback calls for CPU plugin

* move functions to .cpp file

* Apply review comments

* Apply additional review comments

* fix cast to bool type

[ONNX] Add Range op to ONNX importer (#548)

* Added Range op to ONNX importer.

* Disable tests for IE.

Ie capi callback with explicit calling convention (#697)

* Added explicit calling convention to CAPI callback

* Fixed typo spacing

* Renamed INFERENCE_ENGINE_CALLBACK to INFERENCE_ENGINE_C_API_CALLBAC to make the macro really specific to the C API

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#665)

* [IE][VPU]: Fixes deallocation data for cases of CMX allocator run

The final loop tries to deallocate data objects that keep shape values for
other data objects that're outputs of a model. But the case when allocator
takes only CMX data into consideration was not handled and since allocation
could not happen, it lead to fail on deallocation of a data object that has
not been allocated.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes allocator with work on data to shape edges

Since there is new relationship between data objects: some
data objects may contain shape of other data object - allocator
must properly respect that. The thing is if 2 data objects are
connected in such a way, they represent unite entity (dynamic
data object) and should have the same lifetime.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>