Fix Mish and SoftPlus value propagation functions (#2120)

* Fix Mish and SoftPlus value propagation functions

* Add unit tests for SoftPlus & Mish operations value propagation functions

[PYTHON API TESTS] Add ngraph tests (#2132)

Co-authored-by: Alexander Zhogov <alexander.zhogov@intel.com>

Fix for static PartialShape detection algorithm (#2106)

Added callback to disable PriorBox to PriorBoxIE transformation (#2159)

* move priorbox to ie transformations to Opset1ToLegacyOpset pipeline

* fix typo

* Revert "fix typo"

This reverts commit 4077a78cbdcc1340b0999a3756ce348dd567e45f.

* Revert "move priorbox to ie transformations to Opset1ToLegacyOpset pipeline"

This reverts commit 910e41ff2099b0516fc9bff2baaa2ec678c8a7bf.

* add functionality to disable prior box to ie transformation

* fix callback

[IE CLDNN] Memory allocation optimizations (#2007)

Add exposing function signatures via Cython (#2024)

Implement `run_executable.py` to run `TimeTests` several times (#2125)

[IE CLDNN] Fix stack-use-after-scope issue (#2150)

Updated ConvertPrecision pass not to make extra copy of Constant data (#2108)

[samples] remove unused ngraph (#2156)

[IE Myriad][#38489] Reduce test scope for Swish layer (#2163)

Fixed differences between glib versions (#2153)

[IE][VPU]: Support ngraph::Function in VPU QueryNetwork (#1929)

* Support ngraph::Function in VPU QueryNetwork

[IE Myriad][IE Tests] Activation layer's constants parametrization. (#2071)

CI passed: https://gitlab-icv.inn.intel.com/inference-engine/product-configs/merge_requests/870

fix #38545 remove CPU network layer check for py samples (#2145)

Add support for custom onnx operators: DetectionOutput, Normalize and… (#2064)

[IE][VPU][Custom CL]: Fix binary convolution3x3 3d transaction (#2144)

* Fix binary_convolution3x3.cl kernel & test

[IE CLDNN] Fully connected MMAD kernel optimizations (#2115)

[CPU] statically analyzed issues. (#2139)

[CPU] Supported depthwise 6d, 7d, ..., added test (#971)

Fixed addOutput behavior for experimental ops (#2138)

[CPU] Fixed quantization post op memory leak (#2101)

[CPU] add const and precision check quantize ranges (#2074)

[ IE ] ExperimentalDetectron shape infer fix (#2143)

[JAVA] Code style check added (#1984)

[IE CLDNN] Fix problems with loop iterator and parameter check in clDNN (#2141)

[IE][TOOLS] compile_tool improvements (#2140)

* Remove dead code.
* Protect device specific config options with device checks.
* Add missing space to precision parsing error message.
* Allow to switch FP32 input precision to U8.

Relaxed tolerance for fp16_inception_v1 model (#2129)

Extend MO for support of Interpolate-4 (#2026)

* Commit.

* Added opset4 version in the class Interpolate.

* Added class ONNXResize11Op to read ONNX Resize with opset version >= 11.

* Added support for Interpolate-4 into transformations TestInterpolateReshapeWA and InterpolateConcat.

* Added support for Interpolate-4 into transformation InterpolateWithConcat.

* Deleted redundant checks from the transformation UpsampleToResample.

* Reverted last changes.

* Changed ONNX Resize extractor to support for Interpolate-4.

* Added conversion of ONNXResize11Op into Interpolate-4.

* Added support for Interpolate-4 into the transformation InterpolateSequenceToInterpolate.

* Small fix for formatting.

* Written tests for MO version of Interpolate-4 with shape_calculation_mode = sizes.

* Written tests for infer function of Interpolate-4.

* Now transformations InterpolateWithConcat, InterpolateConcat, InterpolateReshapeWA skip Interpolate-4.

* Used create_op_with_const_inputs in the transformation InterpolateSequenceToInterpolate.

* The transformation ONNXResize11ToInterpolate4 was rewritten using find_and_replace_pattern.

* Now the dictionary infers (dictionary of infer functions of Interpolate) is a class static attribute.

* Deleted unused variable.

* Restored original logic of find_and_replace_pattern method of the class InterpolateReshapeWA.

* Used create_op_with_const_inputs() in the transformation InterpolateSequenceToInterpolate for opset1 case.

* Replaced resize_name by resize.soft_get('name', resize.id).

* Small fixes.

* Added two tests for Interpolate-4 infer function.

* Fixed the transformation ONNXResize11ToInterpolateV4 for the case when ONNXResize11 operation has 3 inputs.

* Added conversion of ONNXResize11 with tf_crop_and_resize_mode to ROIPooling + ONNXResize11.

* Fixed bugs in the transformation ONNXResize11ToInterpolateV4 and in the infer function of the operation ONNXResize11.

* Small changes.

* Renamed transformation that converts ONNXResize11 into ROIPooling + ONNXResize11 and fixed BOM-file.

* Fixed tests for the transformation InterpolateSequenceToInterpolate.

* Small change.

* Now the transformation InterpolateSequenceToInterpolate preserves output layer name.

* Deleted the transformation ONNXResize11ToTFCropAndResize.

Implement statistics collection: (#2056)

1. Add `-s` CLI key to get statistics file path
2. Implement `StatisticsWriter` singleton to manage handle to this file

[PP GAPI] - Generic precision conversion kernel; support for U8 (#2076)

- added U8 support
- tests are extended

[GNA] Fix for concat layer with >2 inputs (#1475)

* Fix for concat layer with more than 2 inputs

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* Fixed check if affine is used for crop layer

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* code cleanup for fix affine layer check

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* added test for concat layer with multiple inputs

* simplified test to use less number of layers

* fixed code style

* fixed coding style

* addressed review comments and one more issue that appeared during testing

* fixed code style errors

* scale factor propagation for concat layer with multiple inputs

* fix for a case when all inputs to concat are activation layers

* fix for linux compilation - C++14 is not enabled and fails on lambda with auto parameters

* corrected current year in headers in concat multi input tests

* fixes for code review issues raised by Denis Orlov

* enabled integer mode computation in GNA concat multi input test

* removed 1 space per review comment

* a fix to fail when not all scale factors are equal

* added GNA_DEVICE_MODE config to concat multi input test

* corrected searching for a next input to concat layer

* changed selection of 2nd candidate for source quant value

* code style fix - else and brackets should be in the same line

* small code improvement

* fix for mixing line endings

* addressed with endless requantization loop and fixed failing tests

Fixed AddressSanitizer issue (#2122)

[IE CLDNN] fs_b_yx_fsv32 addition in quantize_scale_shift kernel and reorders removal fix (#2124)

[IE][Tests]: Fixes dangling reference access in nGraph function comparator (#2105)

Usage reference to front of the queue after pop is UB

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[IE TESTS] Remove normilizer tests (#2098)

Temporarily disable ONNX Loop operator for the 2021.1 release (#2110)

Clang compilation error fix for Linux (#2126)

[TEST] One more ReduceSUM func test

Special test case with input values which cannot be correctly processed via
decomposition with int AVG pool layer.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] Fix blob util broadcast filler for non fp32 types

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[NGRAPH] Fix ReduceSum decompose pass

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Hide itt.hpp to src folders (#2091)

Use metadata from executable network when fetching results of the infer request; Use user provided output precision when it was supplied (#2111)

Use element type instead of F32 for constants (#2121)

Sort memcheck timeline report for failures (#2088)

[IE CLDNN] Fix eltwise activation types mismatch (#2090)

[CPU] gemm convolution: added post ops JIT implementation (#1817)

Support python 3.8 by the Model Optimizer tool in default configuration (#2078)

* Support python 3.8 by the Model Optimizer tool in default configuration

* Fix after review #1

* Fix after the second round review

[VPU][OpenCL] Update custom kernels (#2131)

* [Custom CL] Updated OpenCL kernels and tests

* [Custom CL] Update OpenCL compiler

* Update firmware to 1365

* Disable ExpGenerateProposals tests

* VPU: new firmware no. 1370

* Myriad: re-enable ExpGenerateProposals tests

Co-authored-by: Maxim Kurin <maxim.kurin@intel.com>

Add `runPipeline` wrapper to mandatory track full run (#2100)

Added code owners for scripts folder (#2130)

Update tolerance for candy model (#1967)

[nGraph] Enable u1 data type in Constant PyAPI (#2084)

[IE][VPU]: Decompose Swish to Sigmoid + Prod (#2107)

* Workaround to decompose Swish to Sigmoid + Multiply

[IE CLDNN] Switch back to old TI unroller to restore correct matching of TensorIterator output names (#2096)

[IE][VPU]: myriad_compile doesn't work without device - fix (#2054)

* Revert setting deprecated PLATFORM config option in compile tool

[GNA] add support for NCHW & NHWC layouts for exporting output (#2031)

* [GNA] add support for NCHW & NHWC ExportScores

* fix cpplint

[GNA] Handling input orientation (#1851)

Added test

Add fix

GRU/RNN/LSTM sequence ops, reference implementations, single layer tests (#1594)

* gru/rnn sequences

* update gru/rnn sequences ops, add unit tests

* enable sequence transformations for cpu plugin

* ngraph codestyle

* update tensor iterator to rnn/gru/lstm sequence transformations, add unit tests

* ngraph codestyle

* add visitors for ngraph ie ops, fix a bug with incorrect axis, fix ngraph to ngraph ie conversion

* update GRUSequence/GRUSequenceIE according to plugin format

* fix ngraph ie implementations according to plugins restricrictions

* fix naming issue

* adapt unit tests to accordance to new changes

* strict checks, additional unit tests

* add descriptions for transformations, fix unit tests

* enable ti to sequnece and unroll transformations in plugins for testing

* disable tensor iterator ngraph reader tests

* delete unnecessary cmake file

* fix includes

* clean up, resolve review comments

* move ti to sequence transformation to ti folder

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* transpose,rnn cell reference implementations

* Apply PR review remarks

* reference implementations for cells op, single layer tests, align lstm cell/sequence according to the spec

* lstm/gru/rnn cell decompostion transformations

* ngraph codestyle

* clean up

* ngraph code style

* change inheritance of Cells, fix build

* fix build

* fix build again

* remove Peepholes from LSTMSeq, fix copy_runtime_info in transformations

* Rewrite tests to use gtest exception assertions.

* resolve tests issues

* ngraph codestyle

* add missed files

* fix typeprop tests

* fix lstm sequence checks

* fix arm build

* fix arm again

* delete unnecessary file

* add convert weghts format function, enable lstm test, resolve review comments

* add ngraph builders

* ngraph codestyle

* fix unit tests

* revert transpose reference implementation

* move ti to sequences transformation to another branch, resolve review comments

* resolve review comments

* revert fix in ie_layer_validators

* revert LSTM Cell v0, add LSTMCell v1, update transformation lstm_cell_to_cell_ie

* v1 version of LSTMCell op

* LSTMSequence v1 operation, exclude LSTMSeq from opset4

* fix python api tests

* resolve review comments, tests for decomposition transformations, switch lstm cell to opset4 in mo

* references impl for RNN/GRU/LSTM Sequences, single layer tests, bidirectional transformation

* fix unit tests

* process dynamic ranks of rnn/gru/lstm ops

* remove sequences specifications from opset4

* resolve review comments

* fix validate_and_infer_types of GRU/RNN sequences

Co-authored-by: Szymon Durawa <szymon.durawa@intel.com>

[IE CLDNN] Added is_discrete flag into device info and FULL_DEVICE_NAME flag (#2089)

ONNX Resize fix (#2103)

[IE][VPU][GT][IE Transformations]: Fixes for post processing model (#2041)

* Disable StridedSlice to crop convertion in dynamic cases
* NMS: increase shave requirements for some cases
* Update firmware
* Add test cases

[LPT] Multiinput with one parent and FQ with three Constant (#2066)

* [LPT] FakeQuantize with three constants

* [LPT] Dequantization ops on thw inputs with one parent

Refactoring: install_openvino_dependencies.sh script (#2112)

[IE TESTS] GatherTree single layer test has been created. (#2006)

* [IE TESTS] GatherTree op ref function has been created.

* [IE TESTS] Added GatherTree single layer test

* [IE TESTS] Fixed code styles.

* [IE TESTS] GatherTree test FP32 precion was enabled.

* [IE TESTS] Refactoring of Builder::makeConstatn procedure

The refactoring is aimed at managing the range of random data for the constants initialization procedure.

* [IE TESTS] GatherTree test was extended with constants

* [IE TESTS] GatherTree ref rewritten to non-templated function.

* [IE TESTS] GatherTree test inp shape indx enum removed.

* Revert "[IE TESTS] Refactoring of Builder::makeConstatn procedure"

This reverts commit 2648172e00ccca266d39e8775b890b8a8395f57c.

* [IE TESTS] makeConstant was augmented with random data range parameters.

* [IE TESTS] GatherTree test was rewritten using makeConstant function.

* [IE TESTS] GaterTree test call templated makeConstant

* [IE TESTS] GaterTree test code style fix

v1::AvgPooling type prop unit tests (#2013)

[CPU] fix: supported Tile with more than 5 dims (#2062)

* [CPU] Extend Reduce node to support blocked layouts nC[d]hw8/16C (#580)

[IE CLDNN] Grouped convolution kernel improvement (#2063)

Remove list of the supported ops by ONNX Importer (#2061)

[IE CLDNN] Fix the order of dimensions in reshapes inserted by Select primitive (#2082)

VPU: update firmware version to 1354 (#2087)

Refactored legacy code for mean_scale_values transformations (#1936)

* Remove move_to_preproc. Not actual.

* Updated documentation

[IE][VPU]: Fix behavior tests for MXpcie (#1879)

* Moved mem type patching under USB protocol switch
* Myriad beh tests fix

Ngraph improvements (#2058)

Move FakeOutput resolving to back phase (#2033)

[IE CLDNN] Fixed fsv16 lrn kernel with fp16 input (#2086)

Handle Split axes as i64 (#2079)

[IE CLDNN] Fixing blocked format opting for strided_slice (#2073)

[IE CLDNN] Disable unsupported blocked formats for softmax (#2049)

[IE CLDNN] Reduce performance drop fix (#2065)

[IE CLDNN] Enable bfyx fully_connected for large batches (#1996)

This change enables fully_connected to use bfyx format for large
batches, when optimized bf_tiled kernel best performance.

Fix fusing Multiply node with Convolution in case group != 1 (#1882)

* Fix fusing Multiply node with Convolution in case group != 1

* Add transformation test

* Do not fuse if not possible to reshape const

* Update fuse_linear_ops.py

Make pybind more verbose in debug on windows (#2045)

* Make pybind more verbose in debug on windows

* Remove the NDEBUG flag everywhere

* Code complexity reduction...

* Missing colon

* And now the missing empty line...

* Reusable functions

* Now the mood of the sentence was wrong...

* Free functions instead of methods

HostTensor2Vector (#2027)

* Add host_tesnor_2_vector() implementation and unit tests. One reference OP refactored to use it.

* Ngraph assertion message refactored.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>
* Fix style.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>

[CPU] Disabled several non-valid static assertions (#2055)

[PP GAPI] - Generic precision conversion kernel (#1897)

- U16toF32 conversion kernel converted to more generic ConvDepth one
- U16 <-> F32 conversion only are supported for now
- kernel is not used in the preprocessing graph yet
- tests are extended

Enable force shape inference in RNNSeqNormilize transformation (#2069)

fix for typo in src/inference_engine/CMakeLists.txt (#1988)

[IE][VPU]: Introduces annotations of stages memory types (#1991)

* Moves splitLargeKernelConv tests to unit tests

Originally, file with tests has been placed in a wrong place
so it was not integrated into any testing application.
Now it is a part of unit tests on VPU.

Test itself has been disabled due to issue with NCE unit usage
described in #-33366

* Introduces pass I/O memory types annotation of stages

It is useful to see where inputs and outputs are located in
performance report for analysing possible issues.

* Introduces endsWith and tuple2Vector utilities

endsWith checks if source has suffix equals to second
argument. tuple2Vector converts tuple of arbitrary size
containing the same type to vector. It could be useful
working with gtest parameter generators that have
std::tuple as return type.

* Introduces unit tests on annotating stages memory types

* Introduces missing format placeholders

* Makes memory types annotation optional

Enables private option "enableMemoryTypesAnnotation" which
disabled by default. Disabling annotation by default allows
avoid issues with tests which rely on stages names.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[GNA] Fix Activation output size not matching convolution if padded. (#1980)

* Fix Activation output size not matching convolution if padded.

* Fix input padding handling in Convolution

* fix static bug

* Use correct value for feature rotation.

* [GNA] Fix regression

* Added tests

* Added tests

Fixed speech demo compilation issue on 2021.1 and models are updated to IRv10 (#2029)

[IE][VPU]: Reduce XLink log level in AOTBehaviorTests (#2044)

[IE CLDNN] Fix performance degradation for brain-tumor-segmentation-0002 (#2038)

JIRA: 37933

Co-authored-by: Egor Churaev <egor.churaev@intel.com>

[IE][VPU]: Fix for Swish layer (#2034)

* Fix Swish layer serialization.
* Added shared test for Swish
* Firmware update 1326 -> 1349

Add Mish with SoftPlus transformation (#1815)

* Add Mish with SoftPlus transformation

* Refactoring accrding code review

* Add softplus to mish pass registration

* Add checks customer count for SoftPlus and Tanh ops

Hetero plugin dump dot file using ngraph pass (#2042)

* Hetero plugin dump dot file using ngraph pass

* Removed unused code

* Fixed color Index

* reverted prcision forwarding

[CPU][BF16] bf16 for Gemm or MatMul was enabled (#1920)

[CPU] Interpolate operation implementation (#1465)

[IE CLDNN] Fix i8 regression on single-image-super-resolution-1032 (#1990)