Test refactor (#2225)

update OpenCV version to 4.5.0 (#2254)

* update OpenCV version to 4.5.0

* fix Azure pipelines

Fixed KW warning and review issues (#2263)

Revert "[IE TESTS] dynavic batch for mvn layer (#1010)" (#2257)

This reverts commit 2e3378c50feb96df2bb8cb719bf0745705e35ad9.

[IE][VPU]: update firmware 1378 (#2182)

[VPU] Fix K propagation through Reshape (#2184)

* [VPU][DTS] Fix K propagation through Reshape

* [VPU] Add test cases

[PP GAPI] Addded tests to cover exisiting precision conversions done by (#1976)

some plugins

- added shared parameterized tests
- instantiated for template plugin
- instantiated for cpu plugin
- fixed CPU plugin to properly handle U16 input
- fixed CPU reverse_sequence primitive to alolw input/oputput tensors to
be in FP32 only
- updated ngraph test_simple_computation_on_ndarrays to not expect
failure on U16 input

added check to avoid IR generation in case of wrong input shape (#2127)

* added check to avoid IR generation in case of wrong input shape

* review changes

[IE][VPU][OpenCL] 2021.1 release compiler (#2166)

Revert "Eliminated invalid subgraphs (#2196)" (#2250)

This reverts commit 89a6f926a4784110b34848a432994e4632f860ce.

Added Public CI badge to main page (#2241)

[GNA] fix scale factor calculation for unfused bias after fc (#2097)

* [GNA] fix scale factor calculation for unfused bias after fc

* change check

* add test

* apply requested changes

* cpplint fix

* apply test changes

* modify model for test to match ::op::

Fix running nG Python tests on Windows and update doc (#2162)

[IE][VPU]: Merges transformations calls from LoadExeNetwork and Frontend (#2220)

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Reshape v7: remove (#1379)

* Removed shape inference fr IR v7 and older

* Disabled dynamic batch tests which require reshape

* Fixes tests 2

* Disabled MKLDNN tests with convolution reshape

* Fixed GPU tests

* Disable VPU tests with batch size > 1 for old IRs

* Removed most of shape infer functions for old representation

* Removed most of CNNLayer validators

* Fixed validators and keep only parseParams

* Removed tests on invalid IR v7

* Disabled more VPU tests

* Removed Backetize validator

* Disable one more Myriad tests case where reshape for old IR is needed

* Removed useless reshape

* Need to replace GRUCell with Unique

* Moved shape infer functions for experimental layers to Core IE

* Fixed shape inference functions not to depend on legacy

* Added missed SparseToDense

* Added descriptive error message

* Fixed comments

[IE][VPU]: Workaround to support parameter Beta for layer Swish (#2205)

* Workaround to full support Swish layer. It is faster than native Swish for now.

[IE][TESTS] Fix compareRawBuffers and compareBlobData methods (#2222)

Use `<=` comparison instead of `<` with thresholds.
This allows to use `0` threshold for bit-exact comparison.

Eliminated invalid subgraphs (#2196)

nGraph some KW fixes (#2102)

* Removed redundant methods

* Fixed KW for linux

Extend error message (#2175)

Fixed query network for networks with KSO (#2201)

* Added a test to reproduce QueryNetwork with KSO

* Fixed QueryNetwork for networks with KSO

* Added additional test

Fixed output names for case with redundant ops before result (#2210)

[IE][VPU]: Some KW fixes (#2142)

* Some KW fixes
* Fix printTo in vpu ngraph transformations

[GNA] Safety fixes (#2158)

[IE][VPU][Tests]: Enables tests on MergeSubsequentDSROperations (#2149)

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

TensorIterator to RNN/GRU/LSTM Sequence transformation (#2146)

* ti to sequences transformations

* fix sequences to sequences ie conversion

* resolve review marks

* resolve review remarks, fix ti to sequences transformations to support batch > 1 if slice axis == 0

* temporary enable ngraph ti transformations for cpu plugin

* fix includes

* Revert "fix includes"

This reverts commit 6cf15b97bec94168df71606ac959b3cf60634c8a.

* Revert "temporary enable ngraph ti transformations for cpu plugin"

This reverts commit fd528d7216a2e6b11e915a0038a191259dc60551.

* delete todo comments

[LPT] Copy constant with several outputs before blob update (cherry-pick to master) (#2198)

* [LPT] Copy constant implementation

* [LPT] the same Constant ops as FQ interval boundaries

setupvars: update logic for setting path-like vars in case if they are empty. Updated copyrights. (#2229)

GatherTree description was extended and outdated link fixed (#2167)

* add more alrifications to description

* move clarification to comment

* pseudo code become more accurate

* review changes

Revert "update OpenCV version to 4.5.0"

This reverts commit 5d229a45649091d25c3e85f391f99ea88122e008.

update OpenCV version to 4.5.0

[CPU] add check on equality of values IL and IH ranges (#2190)

Add backend tests  to ONNX OpenVino CI (#1972)

Define security policy (#2215)

[Python Tools] Fix several problems in cross-check-tool (#2170)

Super smart reshape: HC Reshape to 2D followed by MatMul (#2183)

* Initial commit

* [SSR] Reshape(2D)->MatMul constrain relaxation

* Moved common pattern mechanics to the common function

* Moving SmartReshape to CNNNetworkNgraphImpl ctors

* Review comment

* Tests

Split time-tests common library (#2173)

Split time-tests common library

Add a README.md with workflow description.
Defined "timetest_" suffix for all time tests.
Applied clang-format-9 and added a README.md

Co-authored-by: Alina Alborova <alina.alborova@intel.com>

[DOC] Reshape feature (#2023)

* [DOC] Reshape feature

* Comments adressed.

* Clarifications

* Converting_Model_General.md

* Update ShapeInference.md

* Update ShapeInference.md

* Comments

* Update Convert_Object_Detection_API_Models.md

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

Added type info for transformations (#2116)

Fix Mish and SoftPlus value propagation functions (#2120)

* Fix Mish and SoftPlus value propagation functions

* Add unit tests for SoftPlus & Mish operations value propagation functions

[PYTHON API TESTS] Add ngraph tests (#2132)

Co-authored-by: Alexander Zhogov <alexander.zhogov@intel.com>

Fix for static PartialShape detection algorithm (#2106)

Added callback to disable PriorBox to PriorBoxIE transformation (#2159)

* move priorbox to ie transformations to Opset1ToLegacyOpset pipeline

* fix typo

* Revert "fix typo"

This reverts commit 4077a78cbdcc1340b0999a3756ce348dd567e45f.

* Revert "move priorbox to ie transformations to Opset1ToLegacyOpset pipeline"

This reverts commit 910e41ff2099b0516fc9bff2baaa2ec678c8a7bf.

* add functionality to disable prior box to ie transformation

* fix callback

[IE CLDNN] Memory allocation optimizations (#2007)

Add exposing function signatures via Cython (#2024)

Implement `run_executable.py` to run `TimeTests` several times (#2125)

[IE CLDNN] Fix stack-use-after-scope issue (#2150)

Updated ConvertPrecision pass not to make extra copy of Constant data (#2108)

[samples] remove unused ngraph (#2156)

[IE Myriad][#38489] Reduce test scope for Swish layer (#2163)

Fixed differences between glib versions (#2153)

[IE][VPU]: Support ngraph::Function in VPU QueryNetwork (#1929)

* Support ngraph::Function in VPU QueryNetwork

[IE Myriad][IE Tests] Activation layer's constants parametrization. (#2071)

CI passed: https://gitlab-icv.inn.intel.com/inference-engine/product-configs/merge_requests/870

fix #38545 remove CPU network layer check for py samples (#2145)

Add support for custom onnx operators: DetectionOutput, Normalize and… (#2064)

[IE][VPU][Custom CL]: Fix binary convolution3x3 3d transaction (#2144)

* Fix binary_convolution3x3.cl kernel & test

[IE CLDNN] Fully connected MMAD kernel optimizations (#2115)

[CPU] statically analyzed issues. (#2139)

[CPU] Supported depthwise 6d, 7d, ..., added test (#971)

Fixed addOutput behavior for experimental ops (#2138)

[CPU] Fixed quantization post op memory leak (#2101)

[CPU] add const and precision check quantize ranges (#2074)

[ IE ] ExperimentalDetectron shape infer fix (#2143)

[JAVA] Code style check added (#1984)

[IE CLDNN] Fix problems with loop iterator and parameter check in clDNN (#2141)

[IE][TOOLS] compile_tool improvements (#2140)

* Remove dead code.
* Protect device specific config options with device checks.
* Add missing space to precision parsing error message.
* Allow to switch FP32 input precision to U8.

Relaxed tolerance for fp16_inception_v1 model (#2129)

Extend MO for support of Interpolate-4 (#2026)

* Commit.

* Added opset4 version in the class Interpolate.

* Added class ONNXResize11Op to read ONNX Resize with opset version >= 11.

* Added support for Interpolate-4 into transformations TestInterpolateReshapeWA and InterpolateConcat.

* Added support for Interpolate-4 into transformation InterpolateWithConcat.

* Deleted redundant checks from the transformation UpsampleToResample.

* Reverted last changes.

* Changed ONNX Resize extractor to support for Interpolate-4.

* Added conversion of ONNXResize11Op into Interpolate-4.

* Added support for Interpolate-4 into the transformation InterpolateSequenceToInterpolate.

* Small fix for formatting.

* Written tests for MO version of Interpolate-4 with shape_calculation_mode = sizes.

* Written tests for infer function of Interpolate-4.

* Now transformations InterpolateWithConcat, InterpolateConcat, InterpolateReshapeWA skip Interpolate-4.

* Used create_op_with_const_inputs in the transformation InterpolateSequenceToInterpolate.

* The transformation ONNXResize11ToInterpolate4 was rewritten using find_and_replace_pattern.

* Now the dictionary infers (dictionary of infer functions of Interpolate) is a class static attribute.

* Deleted unused variable.

* Restored original logic of find_and_replace_pattern method of the class InterpolateReshapeWA.

* Used create_op_with_const_inputs() in the transformation InterpolateSequenceToInterpolate for opset1 case.

* Replaced resize_name by resize.soft_get('name', resize.id).

* Small fixes.

* Added two tests for Interpolate-4 infer function.

* Fixed the transformation ONNXResize11ToInterpolateV4 for the case when ONNXResize11 operation has 3 inputs.

* Added conversion of ONNXResize11 with tf_crop_and_resize_mode to ROIPooling + ONNXResize11.

* Fixed bugs in the transformation ONNXResize11ToInterpolateV4 and in the infer function of the operation ONNXResize11.

* Small changes.

* Renamed transformation that converts ONNXResize11 into ROIPooling + ONNXResize11 and fixed BOM-file.

* Fixed tests for the transformation InterpolateSequenceToInterpolate.

* Small change.

* Now the transformation InterpolateSequenceToInterpolate preserves output layer name.

* Deleted the transformation ONNXResize11ToTFCropAndResize.

Implement statistics collection: (#2056)

1. Add `-s` CLI key to get statistics file path
2. Implement `StatisticsWriter` singleton to manage handle to this file

[PP GAPI] - Generic precision conversion kernel; support for U8 (#2076)

- added U8 support
- tests are extended

[GNA] Fix for concat layer with >2 inputs (#1475)

* Fix for concat layer with more than 2 inputs

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* Fixed check if affine is used for crop layer

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* code cleanup for fix affine layer check

Signed-off-by: Bartosz Sochacki <bartosz.sochacki@intel.com>
* added test for concat layer with multiple inputs

* simplified test to use less number of layers

* fixed code style

* fixed coding style

* addressed review comments and one more issue that appeared during testing

* fixed code style errors

* scale factor propagation for concat layer with multiple inputs

* fix for a case when all inputs to concat are activation layers

* fix for linux compilation - C++14 is not enabled and fails on lambda with auto parameters

* corrected current year in headers in concat multi input tests

* fixes for code review issues raised by Denis Orlov

* enabled integer mode computation in GNA concat multi input test

* removed 1 space per review comment

* a fix to fail when not all scale factors are equal

* added GNA_DEVICE_MODE config to concat multi input test

* corrected searching for a next input to concat layer

* changed selection of 2nd candidate for source quant value

* code style fix - else and brackets should be in the same line

* small code improvement

* fix for mixing line endings

* addressed with endless requantization loop and fixed failing tests

Fixed AddressSanitizer issue (#2122)

[IE CLDNN] fs_b_yx_fsv32 addition in quantize_scale_shift kernel and reorders removal fix (#2124)

[IE][Tests]: Fixes dangling reference access in nGraph function comparator (#2105)

Usage reference to front of the queue after pop is UB

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[IE TESTS] Remove normilizer tests (#2098)

Temporarily disable ONNX Loop operator for the 2021.1 release (#2110)

Clang compilation error fix for Linux (#2126)

[TEST] One more ReduceSUM func test

Special test case with input values which cannot be correctly processed via
decomposition with int AVG pool layer.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] Fix blob util broadcast filler for non fp32 types

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[NGRAPH] Fix ReduceSum decompose pass

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Hide itt.hpp to src folders (#2091)

Use metadata from executable network when fetching results of the infer request; Use user provided output precision when it was supplied (#2111)

Use element type instead of F32 for constants (#2121)

Sort memcheck timeline report for failures (#2088)

[IE CLDNN] Fix eltwise activation types mismatch (#2090)

[CPU] gemm convolution: added post ops JIT implementation (#1817)

Support python 3.8 by the Model Optimizer tool in default configuration (#2078)

* Support python 3.8 by the Model Optimizer tool in default configuration

* Fix after review #1

* Fix after the second round review

[VPU][OpenCL] Update custom kernels (#2131)

* [Custom CL] Updated OpenCL kernels and tests

* [Custom CL] Update OpenCL compiler

* Update firmware to 1365

* Disable ExpGenerateProposals tests

* VPU: new firmware no. 1370

* Myriad: re-enable ExpGenerateProposals tests

Co-authored-by: Maxim Kurin <maxim.kurin@intel.com>

Add `runPipeline` wrapper to mandatory track full run (#2100)

Added code owners for scripts folder (#2130)

Update tolerance for candy model (#1967)

[nGraph] Enable u1 data type in Constant PyAPI (#2084)

[IE][VPU]: Decompose Swish to Sigmoid + Prod (#2107)

* Workaround to decompose Swish to Sigmoid + Multiply

[IE CLDNN] Switch back to old TI unroller to restore correct matching of TensorIterator output names (#2096)

[IE][VPU]: myriad_compile doesn't work without device - fix (#2054)

* Revert setting deprecated PLATFORM config option in compile tool

[GNA] add support for NCHW & NHWC layouts for exporting output (#2031)

* [GNA] add support for NCHW & NHWC ExportScores

* fix cpplint

[GNA] Handling input orientation (#1851)

Added test

Add fix

GRU/RNN/LSTM sequence ops, reference implementations, single layer tests (#1594)

* gru/rnn sequences

* update gru/rnn sequences ops, add unit tests

* enable sequence transformations for cpu plugin

* ngraph codestyle

* update tensor iterator to rnn/gru/lstm sequence transformations, add unit tests

* ngraph codestyle

* add visitors for ngraph ie ops, fix a bug with incorrect axis, fix ngraph to ngraph ie conversion

* update GRUSequence/GRUSequenceIE according to plugin format

* fix ngraph ie implementations according to plugins restricrictions

* fix naming issue

* adapt unit tests to accordance to new changes

* strict checks, additional unit tests

* add descriptions for transformations, fix unit tests

* enable ti to sequnece and unroll transformations in plugins for testing

* disable tensor iterator ngraph reader tests

* delete unnecessary cmake file

* fix includes

* clean up, resolve review comments

* move ti to sequence transformation to ti folder

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* transpose,rnn cell reference implementations

* Apply PR review remarks

* reference implementations for cells op, single layer tests, align lstm cell/sequence according to the spec

* lstm/gru/rnn cell decompostion transformations

* ngraph codestyle

* clean up

* ngraph code style

* change inheritance of Cells, fix build

* fix build

* fix build again

* remove Peepholes from LSTMSeq, fix copy_runtime_info in transformations

* Rewrite tests to use gtest exception assertions.

* resolve tests issues

* ngraph codestyle

* add missed files

* fix typeprop tests

* fix lstm sequence checks

* fix arm build

* fix arm again

* delete unnecessary file

* add convert weghts format function, enable lstm test, resolve review comments

* add ngraph builders

* ngraph codestyle

* fix unit tests

* revert transpose reference implementation

* move ti to sequences transformation to another branch, resolve review comments

* resolve review comments

* revert fix in ie_layer_validators

* revert LSTM Cell v0, add LSTMCell v1, update transformation lstm_cell_to_cell_ie

* v1 version of LSTMCell op

* LSTMSequence v1 operation, exclude LSTMSeq from opset4

* fix python api tests

* resolve review comments, tests for decomposition transformations, switch lstm cell to opset4 in mo

* references impl for RNN/GRU/LSTM Sequences, single layer tests, bidirectional transformation

* fix unit tests

* process dynamic ranks of rnn/gru/lstm ops

* remove sequences specifications from opset4

* resolve review comments

* fix validate_and_infer_types of GRU/RNN sequences

Co-authored-by: Szymon Durawa <szymon.durawa@intel.com>

[IE CLDNN] Added is_discrete flag into device info and FULL_DEVICE_NAME flag (#2089)

ONNX Resize fix (#2103)