[IE CLDNN] Added fusing suport to all pooling kernels (#689)

adds fusing support to all available pooling kernels
tests all possible input type/output type configurations
fixes minor bug in max pooling in pooling_gpu_test.cpp
fixed minor bug with yxbf format in pooling_gpu_ref and pooling_gpu_int8_ref kernels
fixes bug with b_fs_yx_fsv32 format in pooling_gpu kernel
resolves bug with max pooling accuracy missmatch in case of non zero pad end layer parameter
resolves average pooling accuracy missmatch in case of non zero pad end layer parameter

[IE CLDNN] Fixed stack overflow in calculate_prior_boxes pass (#747)

The problem behind this error was in program_impl::init_graph() where in calculate_prior_boxes we are trying to calculate output layout of an entire network recursively which causes stack overflow. Calculating output layouts beforehand in processing order fixes this issue.

Add 'aligned' param to ExperimentalDetectronROIFeatureExtractor for CPU plugin and MO

Python API for Assign, ReadValue and ExtractImagePatches (#719)

mkldnn_memory_solver.hpp: include stdint.h to avoid build error (#729)

fix the following compile error:

inference-engine/src/mkldnn_plugin/mkldnn_memory_solver.hpp:60:9: error: 'int64_t' does not name a type
|    60 |         int64_t size;
|       |         ^~~~~~~

include stdint.h to fix this.

Signed-off-by: Liwei Song <liwei.song@windriver.com>

[LPT] [TEST] Sporadic test fail fix (workaround) (#742)

[ nGraph ] FP16 for evaluate (#722)

Use pre-defined DB collection names in memcheck_upload.py CLI (#651)

Use argparses `choices` for `--db_collection` option.

Also removed unnecessary redefinition of `db_collection` in memcheck_upload.py

[IE CLDNN] Improve kernel selection for b_fs_yx_fsv16 layout and optimize Convolution kernels (#730)

[IE TESTS] Move InferRequestTests (#618)

* [IE TESTS] move Infer_request tests

* fix v0

* [ci-skip][IE TESTS] test update basic class v0

* [ci-skip][IE TESTS] test update basic class v1

* [ci-skip][IE TESTS] test update basic class

* [ci-skip][IE TESTS] test update basic class v3

* [ci-skip][IE TESTS] test update basic class final versions

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] fix codestaly and comment

Co-authored-by: Irina Efode <irina.efode@intel.com>

Skip some functional tests on VPU (#568)

[ONNX] GRU and RNN operators. (#607)

* Create generic RecurrentSequenceDirection enum.

* Helper class RecurrentSequenceOp.

* Add ONNX GRU & RNN operators.

* Use OutputVector.

* Update doc.

* Add UTs for GRU and skip them on IE_CPU

* Add UT for bidirectional mode and fix it.

* Normalize activation function name case.

* Add unit-tests for RNN operator.

* UT for GRU with linear_before_reset set to true.

* Fix ONNX GRU for linear_before_reset case.

* Remove unnecessary symbol export macro.

* Fix CentOS error.

* Update UTs.

- Update few tests accuracy tolerance
- Update rnn_fwd_activations with new reference values and model.

* Review comment: add check for static shape

* Add UT for RNN with constant inputs W, R.

* Skip UT with const W,R on IE_CPU

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#711)

* [IE][VPU]: Enables pass for propagating dynamism to network outputs

If network had dynamic output and then myriad Front-End inserted
convert stage at the end (to convert FP16 -> FP32 - output precision)
then dynamism would not be propagated - we have convert stage that
has dynamic input, but static output. As a result, we have run-time
error in Convert kernel: input and output shapes do not match.

At the moment, pass supports only Convert stage as output stage
over which we should propagate dynamism to outputs.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes parse DSR in case of output data

Replacing stage output must be done after replacing
data to shape parent, because the last one may access
original parent producer, but after replacing stage output
it'd not have one.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes MacOS build

* [IE][VPU]: Fixes shape data naming convention

Plugin part assumes that if there is dynamic data object, that's
represented as 2 different data objects (data and shape), then
shape data object has name = data object name + @shape suffix.

Pass that creates new dynamic data object should respect that
assumption.

* [IE][VPU]: Fixes dis-alignment in names of data objects representing dynamic data object

MyriadInferRequest::GetResult assumes that in case of dynamic data object
"data" data object and "shape" data object will have aligned names:
"shape" name = "data" name + "@shape" suffix.

In order to meet that expectation propagating dynamism pass must use output
data object name as prefix. Additionally, propagating pass must be applied
before converting shape notation pass in order to make output shape in IE
notation, not MDK, as MyriadInferRequest::GetResult is expecting.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

 Remove deprecated layer test class (#610)

* Update activation layer test

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Get rid of LayerTestsCommonDeprecated class

Signed-off-by: Mikhail Treskin <mikhail.treskin@intel.com>
* Fix activation tests instantiations for gpu and myriad plugins

* Remove leaking inferWithInterp function

[IE CLDNN] Activation with fused quantize bug fix (#613)

fixed bug connected with quantization fusing to activation
added scale and activation fusing support
added corresponding tests

Updated deprecated messages (#715)

[LPT] Output layers fix (#677)

Enabled thread tests (#717)

[CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations. (#576)

* [CPU] EmbeddingBagOffsetsSum, EmbeddingBagPackedSum, EmbeddingSegmentsSum operations.

* Performance fix

* Perf v2

* Code style

add PassManagerSettings & create more legible description for concat quantization exception and a test for it (#563)

[Jenkinsfile] Add failFast parameter (#721)

It allows us to rebuild Jenkins build and wait until all stages are finished despite of some of them may fail

Imironov/cvs 31297 add yolov4 support (#594)

* Add transformation of softplus operation into log(1.0 + exp(x)).

[IE][Myriad] Gather: add test case (#644)

Updated DeconvolutionIE to support dynamic shapes (#671)

* Updated DeconvolutionIE to support dynamic shapes

* Updated DeconvolutionIE to support output_shape input

* Updated ConvertConvolutions pass

[IE CLDNN] Fixed names mapping chain in runtime graph to respect original names (#599)

Add parallel downloads to stress tests (#678)

specificCreator for Transpose operation (#713)

* Updated Transpose node convertor; replaced get_vector with cast_vector

* Replaced NodeCreator with specificCreator

Enable Control Flow Guard for Windows binaries (#714)

Control Flow Guard is security option.

Revert "Add ittnotify from IntelSEAPI"

This reverts commit 0583b37a14f7f5e4514d51f4a90818e5d42b57ba.

Revert "Use ittnotify from thirdparty"

This reverts commit 3863656f446bdaa1fa7664127e315fcd97d0ef7e.

Remove TopKnormalizer from MO IR Reader transformation_list (#590)

* Remove TopKnormalizer from transformation_list and added call of normalize_outputs to fix read/save of some models

[IE VPU] Enable s32->u8 conversion (#699)

Align MO requirements files (#710)

[IE CLDNN] Quantized deeplabv3 optimizations (#646)

Enabled dilation for imad dw fsv16 kernel
Added argmax and mutable_data to fsv16 white list
Enabled byxf input for quantize scale_shift kernel

Use ittnotify from thirdparty

VTune ittnotify lack of support aarch64. Switching to use ittnotify
in sources to support any target architecture.

Add ittnotify from IntelSEAPI

Adding ittnotify component of https://github.com/intel/IntelSEAPI

commit 88a56e0ecd162667c7afd2ee9969221d62a32509 (HEAD -> master, origin/master, origin/HEAD)
Merge: 6d743e1 809062a
Author: Alex <alexander.a.raud@intel.com>
Date:   Wed Jul 10 15:06:46 2019 -0700

[VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero (#658)

* [VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero

* [VPU][Tests] Adopt old tests to work with reverted indices

* [VPU] Update firmware

[IE Python API] fix TensorDesc test file name (#701)

[IE VPU] OutShapeOfReshape per-layer tests (#631)

* [IE VPU] OutShapeOfReshape per-layer tests

* [IE VPU] Update firmware

* [IE VPU] OutShapeOfReshape: get rid of code duplication

Added speech recognition demo package for centOS (#682)

[IE] Fix build error (#703)

Missing changes in transformation library due to IE API dependency removal.

[IE CLDNN] Free up first copy of weights/biases that were transferred to USM device memory (#561)

Fix SparseWeightedSum transform for Wide and Deep (#698)

WhereDecomposition transform is applied to Where operation in for-garbage sub-graph remained after SparseWeightedSum transform.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Prefer bf(wz)yx format for reshape (#691)

Performance improvement for icnet-camvid model

Removed dependency on Inference Engine from transformation library (#680)

* Removed dependency on Inference Engine from transformation library

* Change transformations export macro

* Fixed comments

Reshape-Permute-Reshape pattern to DepthToSpace layer transformation (#601)

* implemented depth_to_space transformation

* renaming

* added functional tests, fixed mistakes in implementation of the transformation

* disable ConvertSpaceToDepth/ConvertDepthToSpace transformation for CPU plugin, enable DepthToSpaceFusion for CPU plugin only, add specific creators

* fix wrong include

* fix for functional tests: set transformation callback

* revert callback calls for CPU plugin

* move functions to .cpp file

* Apply review comments

* Apply additional review comments

* fix cast to bool type

[ONNX] Add Range op to ONNX importer (#548)

* Added Range op to ONNX importer.

* Disable tests for IE.

Ie capi callback with explicit calling convention (#697)

* Added explicit calling convention to CAPI callback

* Fixed typo spacing

* Renamed INFERENCE_ENGINE_CALLBACK to INFERENCE_ENGINE_C_API_CALLBAC to make the macro really specific to the C API

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#665)

* [IE][VPU]: Fixes deallocation data for cases of CMX allocator run

The final loop tries to deallocate data objects that keep shape values for
other data objects that're outputs of a model. But the case when allocator
takes only CMX data into consideration was not handled and since allocation
could not happen, it lead to fail on deallocation of a data object that has
not been allocated.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes allocator with work on data to shape edges

Since there is new relationship between data objects: some
data objects may contain shape of other data object - allocator
must properly respect that. The thing is if 2 data objects are
connected in such a way, they represent unite entity (dynamic
data object) and should have the same lifetime.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Added ie_core_read_network_from_memory to the C API ie_bridge. (#674)

* * Added ie_core_read_network_from_memory to the C ie_bridge.

* Added size argument for xml_content, fixed const correctness of the weight_blob, fixed unit test

* * Removed debug message

* Changed variables names from model_xxx to weights_xxx to be more consistent with the argument name of the tested function.

* Added a description for xml_content_size in ie_core_read_network_from_memory.

* * xml_content is now passed as uint8_t
* reading function factorized in the unit-test

Added dependency on ONNX reader (#693)

[GNA] Workaround support for callbacks (#591)

[LPT] Convolution regression tests (#543)

* [LPT] Base test infrastructure extending & Convolution test

* [LPT] LPT test infrastructure refactoring

[IE TOOLS] Use input_info in python benchmark app (#660)

[Python API] Fix PreProcessInfo tests (#690)

MO fails generating IR from XLNET model due to a bug in the transformation ConvertGroupedStridedSlice (#625)

* Small fix in the transformation ConvertGroupedStridedSlice. Now VariadicSplit is generated only in the case when node has at least 2 output nodes.

* Added unittests for the case when there is only one StridedSlice.

Fixed CODEOWNERS paths (#684)

[IE CLDNN] Optimized FQ kernel in fsv16 layout (#573)

- Optimized FQ kernel in fsv16 layout. Enabled scaleshift transform for FP16 precision
- Disabled activation_opt kernel with fused ops in some cases

[ nG ] Added F16 folding support (#686)

Do not use ONNX reader if ONNX importer was disabled (#683)

Pre-processing(GAPI): AVX2/AVX512 implementation of 3C/4C Resize via universal intrinsics. (#612)

Python: Fixed installation rules to install additional .so files generated from .pyx (#676)

[nGraph] Reorder nGraph LSTMSequence inputs and outputs dimensions (#560)

* Reorder nGraph LSTMSequence input/outpt dimensions

* Update nGraph pythonAPI for LSTMSequence

* Reorder axes in ONNX importer LSTM

* Tests update

* Fix clang warning

* Use opset3 namespace

* Style apply

* Tests update

* Use opset1  namespace

* Remove usage of  GetOutputElement in ONNX importer LSTM

* Remove opset0 header

* Use Node::output()

fix constant folding of Concat op (#675)

[OpenVINO scripts] Fixed *.sh files index from 644 to 755 (#664)

* Fixed *.sh files index from 644 to 755

* Added convert.py executable permission

Enables VPU maintainers notification in case of PR to VPU related folders and files (#667)

[ MO Interpolate ] Fixing broken model reshape-ability (#619)

[ MO: CVS-32286 ] IdentityN fix (#668)

Enabled Unit tests and remove IReaderPtr (#653)

* Enabled Unit tests and remove IReaderPtr

* Fixed unicode tests for Windows

* Fixed typo

Remove Safety dependency (#627)

Safety tool should be isolated from the environment it is validating:
https://github.com/pyupio/safety/security/advisories/GHSA-7q25-qrjw-6fg2

Suggesting docker solution by default.

Removed StridedSlice to StridedSliceIE transformation (#661)

SplitConcatPairToInterpolate inserts Interpolate when input is 2D (#596)

* SplitConcatPairToInterpolate transformation was moved to middle stage and is applied only for 4D and 5D inputs.

[VPU][Tests] Fix sanitizer issue in unit tests (#630)

[IE TESTS] MOVE plugin tests (#659)

Fixed NMSIE shape infer function (#648)

Fixes for Mask-RCNN conversion (#654)

* Fixed ONNX Mask-RCNN conversion

* Fixed validate_and_infet_types for NMS ops: added check for number of connected inputs

* Updated NMS ops to properly handle optional input with index 2

* Fixed typo in the implementation

[ MO ] Memory usage (#657)

[IE TESTS] Move Config behavior tests (#615)

* [ci-skip][IE TESTS] move config test

* [ci-skip][IE TESTS] fix config

[IE TESTS] Move ExecGraphInfoTests  (#617)

* [ci-skip][IE TESTS] move ExecGraph test

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] fix codestyle

Co-authored-by: Zaytsev, Anton <antonzay@intel.com>

[IE TESTS] Move unit tests to the new infra (#641)

Implement Bucketize in MO and MKLDNN for opset3 (#583)

This operation is used for Wide and Deep Model

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[Python API] Add InputInfo and PreProcessInfo (#637)

Remove Runtime classes from nGraph Python API (#569)

Updated StridedSlice to StridedSliceIE conversion to support dynamic shapes (#621)

* Updated ConvertStridedSliceToStridedSliceIE transformation to support dynamic shapes

* Fixed stridesluce to crop transform not to fail with dynamic shapes

[LPT] Concat complex graph support (#527)

* [LPT] [Tests] LowPrecisionTransformations base test extending

* [LPT] Concat complex (neighbor) graph support

* [LPT] Multichannel concat: scale per channel support

* [LPT] test improvements

* [TEST] tests infrastructure improvements

[IE CLDNN] Grouped convolution bug fix (#572)

Fixes bug in grouped convolution connected with wrong weights layout in SetDefault() method

Removed CI and docker scripts (#622)

Azure CI: Add timeouts, *smoke* filter (#574)

CODEOWNERS: Add link to help, and small fix

Added ONNX reader for the OpenVINO (#532)

* Added ONNX reader for the OpenVINO

* Fixed comments

* Fixed comments

* Fixed message

* Fixed memory consumption

* Revert IReaderPtr

* Fixed Myriad tests

* Fixed comment

* Renamed inference_engine_ir_readers to inference_engine_ir_reader

CODEOWNERS: Added nGraph/Transformations/nGarphTests/IECore (#633)

[IE TESTS][IE CMAKE] Fix download 'testdata' repo via HTTPS (#597)

[CPU] Added quantization post op to the list of supported by FP32 DW Conv (#592)

[CPU] ExtractImagePatches operation (#575)

[VPU][GT] Add convert shape notation pass (#559)

* [VPU] Update firmware

* [VPU][GT] Adjust allocator to deal with undeallocated shapes

* [VPU][Tests] Adjust NonZero tests and references

* [VPU][Tests] Add unit tests for pass

* [VPU][GT] Adjust previous unit tests

* [VPU][GT] Introduce convertShapeNotation pass

* [VPU][GT] Review fixes

* [VPU] Change dims order in dynamic output

Fix skipping incorrect names in scale/mean values (#535)

* Fix skipping incorrect names in scale/mean values

* removed inappropriate comment in cli_parser.py

ICV: fix Scatter layers: fix validators (#541)

* ICV: fix Scatter layers: fix validators

* ICV: fix Scatter layers: enable 0D for `axis`

* Revert "ICV: fix Scatter layers: enable 0D for `axis`"

This reverts commit 82da24b989678061a585a5c7ffd7d5dab10f5edc.

* ICV: fix Scatter layers: test, fix CNNNetworkImpl

[IE CMAKE] Fix OpenBLAS dependency handling for Yocto ARM64 platfrom (#562)

Use `THIRDPARTY_SERVER_PATH` variable to override remote artifacts path.

CODEOWNERS: Add openvino-ngraph-maintainers (#628)

Change region of VMSS agents (#595)