TensorIterator to RNN/GRU/LSTM Sequence transformation (#2146)

* ti to sequences transformations

* fix sequences to sequences ie conversion

* resolve review marks

* resolve review remarks, fix ti to sequences transformations to support batch > 1 if slice axis == 0

* temporary enable ngraph ti transformations for cpu plugin

* fix includes

* Revert "fix includes"

This reverts commit 6cf15b97bec94168df71606ac959b3cf60634c8a.

* Revert "temporary enable ngraph ti transformations for cpu plugin"

This reverts commit fd528d7216a2e6b11e915a0038a191259dc60551.

* delete todo comments

[LPT] Copy constant with several outputs before blob update (cherry-pick to master) (#2198)

* [LPT] Copy constant implementation

* [LPT] the same Constant ops as FQ interval boundaries

setupvars: update logic for setting path-like vars in case if they are empty. Updated copyrights. (#2229)

GatherTree description was extended and outdated link fixed (#2167)

* add more alrifications to description

* move clarification to comment

* pseudo code become more accurate

* review changes

Revert "update OpenCV version to 4.5.0"

This reverts commit 5d229a45649091d25c3e85f391f99ea88122e008.

update OpenCV version to 4.5.0

[CPU] add check on equality of values IL and IH ranges (#2190)

Add backend tests  to ONNX OpenVino CI (#1972)

Define security policy (#2215)

[Python Tools] Fix several problems in cross-check-tool (#2170)

Super smart reshape: HC Reshape to 2D followed by MatMul (#2183)

* Initial commit

* [SSR] Reshape(2D)->MatMul constrain relaxation

* Moved common pattern mechanics to the common function

* Moving SmartReshape to CNNNetworkNgraphImpl ctors

* Review comment

* Tests

Split time-tests common library (#2173)

Split time-tests common library

Add a README.md with workflow description.
Defined "timetest_" suffix for all time tests.
Applied clang-format-9 and added a README.md

Co-authored-by: Alina Alborova <alina.alborova@intel.com>

[DOC] Reshape feature (#2023)

* [DOC] Reshape feature

* Comments adressed.

* Clarifications

* Converting_Model_General.md

* Update ShapeInference.md

* Update ShapeInference.md

* Comments

* Update Convert_Object_Detection_API_Models.md

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

Added type info for transformations (#2116)

Fix Mish and SoftPlus value propagation functions (#2120)

* Fix Mish and SoftPlus value propagation functions

* Add unit tests for SoftPlus & Mish operations value propagation functions

[PYTHON API TESTS] Add ngraph tests (#2132)

Co-authored-by: Alexander Zhogov <alexander.zhogov@intel.com>

Fix for static PartialShape detection algorithm (#2106)

Added callback to disable PriorBox to PriorBoxIE transformation (#2159)

* move priorbox to ie transformations to Opset1ToLegacyOpset pipeline

* fix typo

* Revert "fix typo"

This reverts commit 4077a78cbdcc1340b0999a3756ce348dd567e45f.

* Revert "move priorbox to ie transformations to Opset1ToLegacyOpset pipeline"

This reverts commit 910e41ff2099b0516fc9bff2baaa2ec678c8a7bf.

* add functionality to disable prior box to ie transformation

* fix callback

[IE CLDNN] Memory allocation optimizations (#2007)

Add exposing function signatures via Cython (#2024)

Implement `run_executable.py` to run `TimeTests` several times (#2125)

[IE CLDNN] Fix stack-use-after-scope issue (#2150)

Updated ConvertPrecision pass not to make extra copy of Constant data (#2108)

[samples] remove unused ngraph (#2156)

[IE Myriad][#38489] Reduce test scope for Swish layer (#2163)

Fixed differences between glib versions (#2153)

[IE][VPU]: Support ngraph::Function in VPU QueryNetwork (#1929)

* Support ngraph::Function in VPU QueryNetwork

[IE Myriad][IE Tests] Activation layer's constants parametrization. (#2071)

CI passed: https://gitlab-icv.inn.intel.com/inference-engine/product-configs/merge_requests/870

fix #38545 remove CPU network layer check for py samples (#2145)

Add support for custom onnx operators: DetectionOutput, Normalize and… (#2064)

[IE][VPU][Custom CL]: Fix binary convolution3x3 3d transaction (#2144)

* Fix binary_convolution3x3.cl kernel & test

[IE CLDNN] Fully connected MMAD kernel optimizations (#2115)

[CPU] statically analyzed issues. (#2139)

[CPU] Supported depthwise 6d, 7d, ..., added test (#971)

Fixed addOutput behavior for experimental ops (#2138)

[CPU] Fixed quantization post op memory leak (#2101)

[CPU] add const and precision check quantize ranges (#2074)

[ IE ] ExperimentalDetectron shape infer fix (#2143)

[JAVA] Code style check added (#1984)

[IE CLDNN] Fix problems with loop iterator and parameter check in clDNN (#2141)

[IE][TOOLS] compile_tool improvements (#2140)

* Remove dead code.
* Protect device specific config options with device checks.
* Add missing space to precision parsing error message.
* Allow to switch FP32 input precision to U8.

Relaxed tolerance for fp16_inception_v1 model (#2129)

Extend MO for support of Interpolate-4 (#2026)

* Commit.

* Added opset4 version in the class Interpolate.

* Added class ONNXResize11Op to read ONNX Resize with opset version >= 11.

* Added support for Interpolate-4 into transformations TestInterpolateReshapeWA and InterpolateConcat.

* Added support for Interpolate-4 into transformation InterpolateWithConcat.

* Deleted redundant checks from the transformation UpsampleToResample.

* Reverted last changes.

* Changed ONNX Resize extractor to support for Interpolate-4.

* Added conversion of ONNXResize11Op into Interpolate-4.

* Added support for Interpolate-4 into the transformation InterpolateSequenceToInterpolate.

* Small fix for formatting.

* Written tests for MO version of Interpolate-4 with shape_calculation_mode = sizes.

* Written tests for infer function of Interpolate-4.

* Now transformations InterpolateWithConcat, InterpolateConcat, InterpolateReshapeWA skip Interpolate-4.

* Used create_op_with_const_inputs in the transformation InterpolateSequenceToInterpolate.

* The transformation ONNXResize11ToInterpolate4 was rewritten using find_and_replace_pattern.

* Now the dictionary infers (dictionary of infer functions of Interpolate) is a class static attribute.

* Deleted unused variable.

* Restored original logic of find_and_replace_pattern method of the class InterpolateReshapeWA.

* Used create_op_with_const_inputs() in the transformation InterpolateSequenceToInterpolate for opset1 case.

* Replaced resize_name by resize.soft_get('name', resize.id).

* Small fixes.

* Added two tests for Interpolate-4 infer function.

* Fixed the transformation ONNXResize11ToInterpolateV4 for the case when ONNXResize11 operation has 3 inputs.

* Added conversion of ONNXResize11 with tf_crop_and_resize_mode to ROIPooling + ONNXResize11.

* Fixed bugs in the transformation ONNXResize11ToInterpolateV4 and in the infer function of the operation ONNXResize11.

* Small changes.

* Renamed transformation that converts ONNXResize11 into ROIPooling + ONNXResize11 and fixed BOM-file.

* Fixed tests for the transformation InterpolateSequenceToInterpolate.

* Small change.

* Now the transformation InterpolateSequenceToInterpolate preserves output layer name.

* Deleted the transformation ONNXResize11ToTFCropAndResize.

Implement statistics collection: (#2056)

1. Add `-s` CLI key to get statistics file path
2. Implement `StatisticsWriter` singleton to manage handle to this file

[PP GAPI] - Generic precision conversion kernel; support for U8 (#2076)

- added U8 support
- tests are extended

[GNA] Fix for concat layer with >2 inputs (#1475)

* Fix for concat layer with more than 2 inputs

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* Fixed check if affine is used for crop layer

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* code cleanup for fix affine layer check

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* added test for concat layer with multiple inputs

* simplified test to use less number of layers

* fixed code style

* fixed coding style

* addressed review comments and one more issue that appeared during testing

* fixed code style errors

* scale factor propagation for concat layer with multiple inputs

* fix for a case when all inputs to concat are activation layers

* fix for linux compilation - C++14 is not enabled and fails on lambda with auto parameters

* corrected current year in headers in concat multi input tests

* fixes for code review issues raised by Denis Orlov

* enabled integer mode computation in GNA concat multi input test

* removed 1 space per review comment

* a fix to fail when not all scale factors are equal

* added GNA_DEVICE_MODE config to concat multi input test

* corrected searching for a next input to concat layer

* changed selection of 2nd candidate for source quant value

* code style fix - else and brackets should be in the same line

* small code improvement

* fix for mixing line endings

* addressed with endless requantization loop and fixed failing tests

Fixed AddressSanitizer issue (#2122)

[IE CLDNN] fs_b_yx_fsv32 addition in quantize_scale_shift kernel and reorders removal fix (#2124)

[IE][Tests]: Fixes dangling reference access in nGraph function comparator (#2105)

Usage reference to front of the queue after pop is UB

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[IE TESTS] Remove normilizer tests (#2098)

Temporarily disable ONNX Loop operator for the 2021.1 release (#2110)

Clang compilation error fix for Linux (#2126)

[TEST] One more ReduceSUM func test

Special test case with input values which cannot be correctly processed via
decomposition with int AVG pool layer.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] Fix blob util broadcast filler for non fp32 types

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[NGRAPH] Fix ReduceSum decompose pass

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Hide itt.hpp to src folders (#2091)

Use metadata from executable network when fetching results of the infer request; Use user provided output precision when it was supplied (#2111)

Use element type instead of F32 for constants (#2121)

Sort memcheck timeline report for failures (#2088)

[IE CLDNN] Fix eltwise activation types mismatch (#2090)

[CPU] gemm convolution: added post ops JIT implementation (#1817)

Support python 3.8 by the Model Optimizer tool in default configuration (#2078)

* Support python 3.8 by the Model Optimizer tool in default configuration

* Fix after review #1

* Fix after the second round review

[VPU][OpenCL] Update custom kernels (#2131)

* [Custom CL] Updated OpenCL kernels and tests

* [Custom CL] Update OpenCL compiler

* Update firmware to 1365

* Disable ExpGenerateProposals tests

* VPU: new firmware no. 1370

* Myriad: re-enable ExpGenerateProposals tests

Co-authored-by: Maxim Kurin <maxim.kurin@intel.com>

Add `runPipeline` wrapper to mandatory track full run (#2100)

Added code owners for scripts folder (#2130)

Update tolerance for candy model (#1967)

[nGraph] Enable u1 data type in Constant PyAPI (#2084)

[IE][VPU]: Decompose Swish to Sigmoid + Prod (#2107)

* Workaround to decompose Swish to Sigmoid + Multiply

[IE CLDNN] Switch back to old TI unroller to restore correct matching of TensorIterator output names (#2096)

[IE][VPU]: myriad_compile doesn't work without device - fix (#2054)

* Revert setting deprecated PLATFORM config option in compile tool

[GNA] add support for NCHW & NHWC layouts for exporting output (#2031)

* [GNA] add support for NCHW & NHWC ExportScores

* fix cpplint

[GNA] Handling input orientation (#1851)

Added test

Add fix

GRU/RNN/LSTM sequence ops, reference implementations, single layer tests (#1594)

* gru/rnn sequences

* update gru/rnn sequences ops, add unit tests

* enable sequence transformations for cpu plugin

* ngraph codestyle

* update tensor iterator to rnn/gru/lstm sequence transformations, add unit tests

* ngraph codestyle

* add visitors for ngraph ie ops, fix a bug with incorrect axis, fix ngraph to ngraph ie conversion

* update GRUSequence/GRUSequenceIE according to plugin format

* fix ngraph ie implementations according to plugins restricrictions

* fix naming issue

* adapt unit tests to accordance to new changes

* strict checks, additional unit tests

* add descriptions for transformations, fix unit tests

* enable ti to sequnece and unroll transformations in plugins for testing

* disable tensor iterator ngraph reader tests

* delete unnecessary cmake file

* fix includes

* clean up, resolve review comments

* move ti to sequence transformation to ti folder

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* transpose,rnn cell reference implementations

* Apply PR review remarks

* reference implementations for cells op, single layer tests, align lstm cell/sequence according to the spec

* lstm/gru/rnn cell decompostion transformations

* ngraph codestyle

* clean up

* ngraph code style

* change inheritance of Cells, fix build

* fix build

* fix build again

* remove Peepholes from LSTMSeq, fix copy_runtime_info in transformations

* Rewrite tests to use gtest exception assertions.

* resolve tests issues

* ngraph codestyle

* add missed files

* fix typeprop tests

* fix lstm sequence checks

* fix arm build

* fix arm again

* delete unnecessary file

* add convert weghts format function, enable lstm test, resolve review comments

* add ngraph builders

* ngraph codestyle

* fix unit tests

* revert transpose reference implementation

* move ti to sequences transformation to another branch, resolve review comments

* resolve review comments

* revert fix in ie_layer_validators

* revert LSTM Cell v0, add LSTMCell v1, update transformation lstm_cell_to_cell_ie

* v1 version of LSTMCell op

* LSTMSequence v1 operation, exclude LSTMSeq from opset4

* fix python api tests

* resolve review comments, tests for decomposition transformations, switch lstm cell to opset4 in mo

* references impl for RNN/GRU/LSTM Sequences, single layer tests, bidirectional transformation

* fix unit tests

* process dynamic ranks of rnn/gru/lstm ops

* remove sequences specifications from opset4

* resolve review comments

* fix validate_and_infer_types of GRU/RNN sequences

Co-authored-by: Szymon Durawa <szymon.durawa@intel.com>

[IE CLDNN] Added is_discrete flag into device info and FULL_DEVICE_NAME flag (#2089)

ONNX Resize fix (#2103)

[IE][VPU][GT][IE Transformations]: Fixes for post processing model (#2041)

* Disable StridedSlice to crop convertion in dynamic cases
* NMS: increase shave requirements for some cases
* Update firmware
* Add test cases

[LPT] Multiinput with one parent and FQ with three Constant (#2066)

* [LPT] FakeQuantize with three constants

* [LPT] Dequantization ops on thw inputs with one parent

Refactoring: install_openvino_dependencies.sh script (#2112)

[IE TESTS] GatherTree single layer test has been created. (#2006)

* [IE TESTS] GatherTree op ref function has been created.

* [IE TESTS] Added GatherTree single layer test

* [IE TESTS] Fixed code styles.

* [IE TESTS] GatherTree test FP32 precion was enabled.

* [IE TESTS] Refactoring of Builder::makeConstatn procedure

The refactoring is aimed at managing the range of random data for the constants initialization procedure.

* [IE TESTS] GatherTree test was extended with constants

* [IE TESTS] GatherTree ref rewritten to non-templated function.

* [IE TESTS] GatherTree test inp shape indx enum removed.

* Revert "[IE TESTS] Refactoring of Builder::makeConstatn procedure"

This reverts commit 2648172e00ccca266d39e8775b890b8a8395f57c.

* [IE TESTS] makeConstant was augmented with random data range parameters.

* [IE TESTS] GatherTree test was rewritten using makeConstant function.

* [IE TESTS] GaterTree test call templated makeConstant

* [IE TESTS] GaterTree test code style fix

v1::AvgPooling type prop unit tests (#2013)

[CPU] fix: supported Tile with more than 5 dims (#2062)

* [CPU] Extend Reduce node to support blocked layouts nC[d]hw8/16C (#580)

[IE CLDNN] Grouped convolution kernel improvement (#2063)

Remove list of the supported ops by ONNX Importer (#2061)

[IE CLDNN] Fix the order of dimensions in reshapes inserted by Select primitive (#2082)

VPU: update firmware version to 1354 (#2087)

Refactored legacy code for mean_scale_values transformations (#1936)

* Remove move_to_preproc. Not actual.

* Updated documentation

[IE][VPU]: Fix behavior tests for MXpcie (#1879)

* Moved mem type patching under USB protocol switch
* Myriad beh tests fix

Ngraph improvements (#2058)

Move FakeOutput resolving to back phase (#2033)

[IE CLDNN] Fixed fsv16 lrn kernel with fp16 input (#2086)

Handle Split axes as i64 (#2079)

[IE CLDNN] Fixing blocked format opting for strided_slice (#2073)

[IE CLDNN] Disable unsupported blocked formats for softmax (#2049)

[IE CLDNN] Reduce performance drop fix (#2065)

[IE CLDNN] Enable bfyx fully_connected for large batches (#1996)

This change enables fully_connected to use bfyx format for large
batches, when optimized bf_tiled kernel best performance.

Fix fusing Multiply node with Convolution in case group != 1 (#1882)

* Fix fusing Multiply node with Convolution in case group != 1

* Add transformation test

* Do not fuse if not possible to reshape const

* Update fuse_linear_ops.py

Make pybind more verbose in debug on windows (#2045)

* Make pybind more verbose in debug on windows

* Remove the NDEBUG flag everywhere

* Code complexity reduction...

* Missing colon

* And now the missing empty line...

* Reusable functions

* Now the mood of the sentence was wrong...

* Free functions instead of methods

HostTensor2Vector (#2027)

* Add host_tesnor_2_vector() implementation and unit tests. One reference OP refactored to use it.

* Ngraph assertion message refactored.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>
* Fix style.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>

[CPU] Disabled several non-valid static assertions (#2055)