[IE CLDNN] Loosen restrictions on channels in 3d fsv16 convolution kernel (#1744)

[IE CLDNN] Disabled choose_impl call for generic nodes in some cases to avoid double compilation (#1989)

Do not remove convert after the topK (#1950)

* Do not remove convert after the topK

* Added debug message

* Removed xFail

* Revert "Added debug message"

This reverts commit a01ace4ade88d73e2797b47c58db33943b0f508d.

* Added test

[IE][VPU]: Customer model compilation error - fix(#1901)

Fix of 36693 issue.

* Problem: One of the concat inputs is a constant. Adjust_data_layout pass tries to duplicate all inputs that do not meet the strides requirements, and then copy from the original input to the duplicate with strides. But duplicateData with an argument in the form of a constant also creates a constant, and then, when Copy, an error appears, the presence of a constant output, which cannot be.
* Solution: In addConvertedData create an intermediate date with the same description as the constant, and then copy the constant data into it with the required strides.

Co-authored-by: DariaMityagina <daria.mityagina@intel.com>

[CPU] CTCLoss operation implementation. (#1482)

[ONNX] Enable ScatterND operator in ONNX importer (#1987)

* Enable ONNX scatter_nd

* Tests update

Dynamic shape cell (#1683)

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* Apply PR review remarks

* Rewrite tests to use gtest exception assertions.

Intepolate-4 nGraph operation (#1412)

* Fixed prototype of evaluate method.

* Rewritten Interpolate-4 ctors (added argument output_shape). Corrected tests.

* Fixed typo.

* Fixed number of args of make_shared in op::v4::Interpolate::clone_with_new_inputs.

* Fixes in Interpolate-4 tests.

* Now ONNX Upsample-1 is readed as Interpolate-4 with 4 inputs.

* Code style fixes.

* Some fixes in Interpolate-4 layer test.

* Now ONNX Upsample-9 is readed as Interpolate-4 with 4 inputs.

* Small fixes.

* Some changes.

* Fixed processing of 'scales' input in evaluation of Interpolate-4: now 'scales' contains scales only from 'axes'.

* Fixes in documentation.

* Now reference implementation of Interpolate-4 is rewritten for using 3 required inputs.

* Some code style fixes.

* Small fix.

* Started to write tests for method evaluate() of Interpolate-4.

* Continued to write tests for evaluate() of Interpolate-4.

* Some fixes.

* Some additions.

* Written draft of tests for 'cubic' mode with using scales.

* Some changes.

* Started to write tests for 'nearest' mode.

* Started to write tests for 'linear_onnx' mode.

* Some changes.

* Small fixes.

* Added setup of output type.

* Small addition.

* Added debug print into Interpolate-4 evaluate.

* Now in Interpolate-4 evaluation tests 3 inputs of Interpolate are Constants.

* Small changes.

* Added some debug print.

* Added more debug print.

* Some fixes.

* Now 4th argument of runtime::interpolate has type std::vector<int64_t>.

* Added checks for result of calculations.

* Added another expected values vector for the mode 'cubic'.

* Temporarily commented result value checks  for the cubic mode.

* Written tests for 'nearest' mode.

* Some reorganization.

* Written tests for 'linear_onnx' mode.

* Fixed padding loop.

* Fixed docs for 'linear_onnx' mode.

* Written tests for 'cubic' mode.

* Deleted debug print.

* Fixed code style.

* Enabled CPU layer tests for Interpolate-4.

* Reverted changes of this file.

* Now ONNX importer reads Resize-1 as Interpolate-4 with 4 inputs.

* Now ONNX importer reads Resize-11 as Interpolate-4 with 4 inputs.

* Small fixes.

* Fixed docs.

* Added small epsilon in the shape calculation in the function op::v4::Interpolate::infer_using_scales.

* Small fix.

* Reduced size of the template function eval().

* Now the 'nearest' mode is rewritten to CoordinateTransfom instead of NDim* classes

* Now the 'cubic' mode is rewritten to use CoordinateTransformation instead of NDim classes.

* Started to rewrite 'linear' mode using CoordinateTransform.

* Started to write helper class.

* Small fix.

* Small changes.

* Some fix.

* Fixed typo.

* Now the preamble of 'linear_onnx' mode implementation is a method of helper class.

* Now the function clip_coord is the method of helper class, and the mode 'linear' uses CoordinateTransform instead of NDim classes.

* Deleted NDim classes.

* Some fixes.

* Some refactoring.

* Some refactoring: now inner calculation of 'linear' is in helper class.

* Moved reference implementation of Interpolate-4 into library with reference implementations.

* Small fix.

* Deleted commented tests.

* Code stile fixes.

* Deleted redundant type prop tests for Interpolate-4.

* Documentation fixes.

* Disabled IE_CPU tests for ONNX Resize: Interpolate-4 is not implemented in plugins.

* Temporarily disabled some ONNX tests.

* Some refactoring: deleted redundant attributes of InterpolateEval class.

* Small fix.

* Added NGRAPH_RTTI_DECLARATION and NGRAPH_RTTI_DEFINITION.

* Added debug print to 'cubic' mode calculation.

* Some deletions.

* Small fix.

* Fixed typos.

* Added another debug print.

* Now indices_shape is constructed from std::vector<std::size_t>(num_of_axes, 4) again.

* Fixed CMakeLists.txt.

* Small fix.

* Added more debug print.

* Fixed typo.

* Fixed calculation of the first argument of helper.clip_coord in the inner loop of cubic_func.

* Some code style fixes.

* Alphabetically sorted operations of opset4.

* Deleted constant cannot_define_axes.

* Used std::iota instead of loop.

* Renamed structure InfoToCallReference.

* Now void op::v4::Interpolate::validate_and_infer_types() checks an element type of an input tensor.

* Code style fix.

* Changes in reading of ONNX Resize and Upsample: we generate Interpolate-4 without 'axes' input.

* Now bodies of functions evaluate_interpolate_v4() and inline bool evaluate() are moved in the method bool op::v4::Interpolate::evaluate.

* Fixes in example of the documentation of Interpolate-4.

* Fixed typos.

* Small fix.

* Some fixes.

* Deleted some type aliases.

* Uncommented a test for 'cubic' mode.

* Small code style fix in bool op::v4::Interpolate::evaluate.

* Uncommented more test for Interpolate-4 reference implementation.

* Added more debug print.

* Some changes.

* Uncommented all tests for Interpolate-4 evaluate().

* Deleted debug print.

* Deleted 'simple' mode from the map nearest_mode_map.

* Code style fixes.

* Disabled some CPU tests.

* Some fixes.

* Small fixes.

* Some fixes.

* Fixed typo.

* Fixed typo.

* Small change.

* Fixed some typos.

* Fixed some typos.

* Fix in operator() of the class GetOriginalCoordinate.

* Disabled some CPU tests.

* Small changes.

* Deleted template function from resize.cpp.

* Code style fixes.

* Refactored the method op::v4::Interpolate::evaluate.

* Added documentation for infer_using_scales() and infer_using_shapes().

* Added documentation for classes GetNearestPixel and GetOriginalCoordinate.

* Small fixes.

* Some code style fixes.

* Small fixes.

* Some changes.

* Added NGRAPH_SUPPRESS_DEPRECATED_START and NGRAPH_SUPPRESS_DEPRECATED_END for using v0::InterpolateAttrs; and using v0::Interpolate;

* Code style fix.

* Enabled ONNX import only tests for Resize-10, Upsample-8, Upsample-9.

* Fixed element type for scales_const. Fixed targetShapes and pads in single layer tests.

* Small changes.

* Added conversion from NGRAPH to CNNLayer.

* Added documentation for the class InterpolateEval.

* Now 'nearest' mode has special tests in cpu single layer tests.

* Small changes.

* Fixes in cpu single layer tests.

* Temporarily commented Interpolate-4 in ConvertFunctionToCNNNetworkTests.

* Added some docs.

* Enabled some tests for Resize-11.

* Added test.

* Corrected expected values in the resize_downsample_scales_align_corners case.

* Added more test for the 'cubic' mode.

* Added more test for linear_onnx mode.

* Deleted debug print for linear_onnx mode.

* Deleted debug prints. Added yet another test for 'nearest' mode.

* Fixes for import of ONNX Resize-10 and Upsamples.

* Applyed Evgeny Lazarev fix for Interpolate-4 infer function.

* Code style fixes.

* Some tests were deleted from unit_test.manifest file for INTERPRETER.

* Deleted test for downscale Resize-10: results of infer are correct, but comparison is not.

* Enabled test INTERPRETER.onnx_empty_initializers_handling.

* Some fixes.

* Added the method run_with_tolerance_as_fp() to the class TestCase and the method compare_results_with_tolerance_as_fp() to the class TestCaseEngine.

* Small fix.

* Small fix.

* Added yet another type_prop test.

* Disabled CPU test IE_CPU.onnx_empty_initializers_handling.

* Code style fixes.

* Enabled some ONNX tests.

* Some changes.

* Code style fix.

* Enabled test INTERPRETER.onnx_model_round.

* Disabled tests with behavior as behavior of INTERPRETER.onnx_resize11_scales_down_linear.

* Changed tolerance for test onnx_empty_initializers_handling.

* Changed tolerance in the test onnx_resize11_sizes_linear (otherwise this test is failed in MacOS). Disabled test INTERPRETER.onnx_resize11_sizes_nearest_asymmetric_floor, because this test failed in MacOS only.

Print friendly name instead of name to stream (#1985)

Added documentation about supported ONNX operations (#2004)

* Added documentation about supported ONNX operations

* Fixed comments

Removed NGRAPH_IE_ENABLE flag because it is always ON if unit tests are enabled (#2003)

Dynamic shape support for builder collapse (#1971)

Removed useless export from readers (#2009)

[MO] Fix when Crop asks for MXNet specific cmdarg `enable_ssd_gluoncv` (#1978)

[ MO ] DepthToSpace & ShuffleChannels fusion (#2001)

* [ MO ] ShuffleChannel fusion

* DepthToSpace fusion

* test

* comment

[IE CLDNN] Restrict bsv16_fsv16 convolution to int8 for batch 16 (#1954)

Fixed compilation with private plugins (#1997)

Multiple fixes related to tickets 37105 and 37615 (#1979)

* Multiple fixes.

1. Fixes SpaceToBatch transformation to not crash if inputs are not Constant
2. Fixed eliminate_squueze, eliminate_unsqueeze to not crash when input has dynamic rank
3. Added reference implementation for the FloorMod operation

* Code style fixes

* Update floor_mod.hpp

Removed unnecessary function

[IE CLDNN] Improve performance of fc block fp16 implementation (#1993)

Main purpose of this change is to fix weird behaviour of
fully_connected_gpu_fb_io_block_fp16 implementation where it shows
severe performance drop without bias.
Additionally assembly for case with bias is improved.

Fixed compilation when NGRAPH_INTERP is not enabled (#1998)

Added note about QueryNetwork (#1965)

[ MO ][ RESHAPE ] Fixes in RNNSequenceNormalize transformation  (#1909)

* initial commit

* first reshap-able variant

* right version for reshape

* comment update

* fixes for failed e2e

* set data type to ngraph TensorIterator

* Fix dynamic shapes for cells ops

* clean up

Co-authored-by: yegor.kruglov <ykruglov@nnlvdp-mkaglins.inn.intel.com>

[IE][VPU]: firmware update (#1973)

[GNA] Added fix for eltwise layer with more 65k elements (#1943)

[IE][VPU]: ignore 2nd output of Proposal layer (#1975)

* TODO: implement 2nd output, see: #-37327: Several models Failed to compile layer "proposals"

Implement reshapeable CTCGreedyDecoderPlusSparseToDense transformation and test (#1906)

* Implement reshapeable CTCGreedyDecoderPlusSparseToDense transformation and test

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix consts (after code-review #1)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add CTCGreedyDecoderTransformation with more generic pattern

Also it adds new middle-replacer for transforming sequence length to a mask
along with tests.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Do fixes after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after review #3

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after review #4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

refactor import network (#1871)

NormalizeL2 transformation (#1892)

* first version of implementation

* added unit tests

* changed multiply to pow

* doc + unit tests

* more unit tests

* code review remarks

* missing new line

* remarks

* review remarks

* Build fix - update constant check function in HSwishFusionWithClamp

Co-authored-by: mitruska <katarzyna.mitrus@intel.com>

Fix the case when run stage of verification scripts failed on Windows 10 due to different build directory for executables (#1478)

[IE CLDNN] Cleanup part 2 (#1865)

* [IE CLDNN] Removed some unused kernels and layouts

* [IE CLDNN] Removed bsv4_fsv32 layout

* [IE CLDNN] Removed remaining BF8_XY16 usages. Removed definitions.cl

Update install_openvino_dependencies.sh for Ubuntu 20.04 (#1974)

[IE CLDNN] Move iGPU to first position in GPU device map (#1828)

[IE][VPU]: ROIAlign : use CHWc version (#1937)

* ROIAlign optimization (step 3): use CHWc version

GVA/Update install_openvino_dependencies.sh for GVA on Ubuntu20.04 (#1895)

* Update install_openvino_dependencies.sh for GVA on Ubuntu20.04

* Add dependencies

made compatible with ubuntu 20.04 (#1798)

* made compatible with ubuntu 20.04

* demo_benchmark_app updated

* demo_security_barrier_camera updated

* demo_squeezenet_download_convert_run updated

* Update demo_benchmark_app.sh

* Update demo_security_barrier_camera.sh

* Update demo_squeezenet_download_convert_run.sh

* unwanted file removed

[IE CLDNN] Improved GWS for 3d fsv16 eltwise (#1957)

[JAVA] Use JUnit 4 features to log Java tests log (#1953)

* [JAVA] Use JUnit 4 features to log Java tests log

* [JAVA] Add device parameter for Java tests

Add support for ReduceL1 and ReduceL2 to ONNX Importer (#1838)

[nGraph] RTInfo refactor (#1806)

Update README.md (#1969)

[ONNX] Update ONNX importer to use SotfPlus-4 (#1959)

* Use SoftPlus-4 in ONNX importer

* Tests update

[Samples] Use get_ops for iteration over graph in samples (#1961)

Use relative paths in error messages (#1963)

[CPU] [MSVC] memcpy and memcpy_s were unified for all layers and SIMD functionality was enabled on VS2019 (#1374)

Update priorbox extenders (#1925)

MO fusing activations (#1942)

* Added HSwish operation

* Added HSwish fusing transformation

* Fixed BOM

* Added unit test for HSwish fusing transformation

* Fixed unit tests for transformations using 'build_graph_with_edge_attrs' function to build the graph

* Added fusion transformation for Swish operation

* Added fusing transformation for Softplus operation

* Added fusion transformation for Mish operation

* Added check for the node name in the unit tests

* Fixed Mish fusion pattern

* Updated Mish fusion transformation. Added unit test

* Updated HSwish fusing transformation

* Updated Swish fusion transformation and tests

* Fixed unit tests

ExperimentalDetectron* shape infer old-style (#1962)

* ExperimentalDetectron* shape infer old-style

* nGraph reshape tests

[IE CLDNN] Mixed mode support for proposal primitive (#1857)

[MO] Relax Reshape layer hardcode under MatMul (#1921)

* [MO] Relax Reshape layer hardcode under MatMul

* Memory fix

Added workaround for logical elementwise operations to change the constant input data type if it does not match the other one (#1955)

[IE CLDNN] Fix fused ops in 1x1 conv fsv16 kernel (#1948)

[IE CLDNN] Fixed memory allocation for case when usm is not available (#1952)

Fixed mean image support for IR v10 (#1926)

* Fixed mean image support for IR v10

* Fixed comments

Modified samples to support ONNX models (#1680)

* Modified samples to support ONNX models

- Removed manual loading of IR .bin files (hello_classification, object_detection_sample_ssd)
- Corrected comments
- Added Note in README files

* Modified samples to support ONNX models

- Removed manual loading of IR .bin files (hello_classification, object_detection_sample_ssd)
- Corrected comments
- Added Note in README files

[SCRIPTS] install_NEO_OCL_driver.sh: Added verifying current driver version (#1951)

* install_NEO_OCL_driver.sh: Added verifying current driver version

* install_NEO_OCL_driver.sh: Updated removal oldest driver on Ubuntu. Updated logic on defining

* install_NEO_OCL_driver.sh: Fixed function name

Enable eager execution while TensorFlow 2 model is loaded (#1945)

Fixed threading configuration parameters (#1919)

* Fixed threading parameters

* Updated documentation

* Fix for macos

* Fix doc

[IE CLDNN] int8 output support in fsv16 dw conv (#1886)

Disable CanConvertFromAOTtoSueModel test (#1949)

Query network should return all supported layers (#1845)

* Query network should return all supported layers

* Added other plugins. Fixed hetero and multi

* IRv7 test use legacy impl

[IE TESTS] Add Reverse Seq single layer test (#1933)

* [IE TESTS] Add Reverse Seq single layer test

* Added spaces for better readability.

[IE CLDNN] Weights reorders optimization (#1542)

* [IE CLDNN] Fix incorrect (g)_is_os_(z)yx_isv16_osv16 layout name

* [IE CLDNN] Constant blobs copying improvements

* [IE CLDNN] Weights reorders optimization

[GNA] Aligning GNA2 and GNA Unit testing (#952)

Co-authored-by: kmagiers <kmagiers@intel.com>

Introduce Quantize-Dequantize to FakeQuantize transformation (#1849)

* Introduce Quantize-Dequantize to FakeQuantize transformation

* Revert changes in DequantizeLinear

* apply code format

* Changes after review:

- description for transformation
- remove NGRAPH_CHECK and move some checks from callback to predicates in pattern
- check if out_low/high are broadcastable for FQ's first input
- fix params to copy_runtime_info

* Add type_matches and type_matches_any predicates

* Use get_single_value

* Changes after review:

- add brief description of transformation
- use get_pattern_value_map instead of get_pattern_map
- change opset1 to opset4
- fix params to copy_runtime_info

* Check result of dynamic_pointer_cast

Fixed Precision Conversion for GenericIE operation type (#1917)

* Fixed Precision Conversion for GenericIE operation type

* changed logic for setting output type in GenericIE

[IE][VPU]: Fix NCE hang due to input dimensions exceed HW limitation (#1636)

* Fixed NCE hang due to input dimensions exceed HW limitation
* Added convolution test for big input dimensions

Signed-off-by: wenzengc <wenzeng.chen@intel.com>

Improvements for MKLDNN Input node execution (#1913)

Removed WA with adding fake output for VariadicSplit operation (#1938)

[ MO ] Fix for remove_op_node_with_data_node (#1934)

[GNA] Remove profiler (#1931)

SoftPlus operation implementation (#1365)

Common specific creator for ops to be converted to ie ops (#1928)

* Add common specific creator for ops to be converted to ie ops

* fix cpu func tests

* Add macro for specific creators

Fix output name collision for incorrect ONNX models (#1930)

Adjust tolerance values in ModelImportRunner to the ones onnxruntime … (#1894)

Fixed order of transformation to convert the TF OD API SSD models (#1887)

* Fixed order of transformation to convert the TF OD API SSD models

* Refactored the sub-graph modification for the TF OD API models related to Squeeze/Reshape after SSD heads

Added BatchNormInference tests (#1927)

Deprecated migration to Core guide (#1910)

[IE][VPU]: Update firmware (#1915)

* Firmware update contains changed conditions for removing inner dimension with length 1 in Permute kernel

[IE][VPU]: Fix KW issues on Linux (#1916)

* nullptr dereference fixed in Concat and Reduce stages in Graph Transformer
* missed parameters in asserts in StridedSlice stage was added

[LPT] BLOCKED layout ignoring (#1873)

* [LPT] BLOCKED layout ignoring

* [LPT] Permute transformation tests

* [LPT] Tests rework

[CPU] Added H-Swish activation (#1445)

Reference implementation for ScatterUpdate (#1678)

* Reference implementation for ScatterUpdate and use of it in evaluate.

* Review comments. Clarify comments.

* Update file directory.

* Replace scatter_update reference implementation in ngraph/core/reference/

* Remove template code from ScatterUpdate reference implementation

* Apply review requests

Co-authored-by: mitruska <katarzyna.mitrus@intel.com>

[LPT] GemmTransformation usage fix (#1899)

v0::Pad operator removal (#1912)

* v0::Pad operator removal

* Obsolete test removal

[GNA] Change GNA library version to 1047.1 (#1867)

Disable eager execution affecting TensorFlow 1 concept model handling (#1914)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Fix concat in place with conv interactions (#1714)

This change fixes concatenation in place optimization where it may
interact with convolution that uses physical padding.
One of such cases is where input to optimized concatenation is also
input to convolution, so it should have padding to enable optimized
implementation.
Previously for all concatenation inputs padding was overriden with only
concatenation axis being padded.
This change fixes this issue by propagating padding across inputs and
output.

Add reshaping of dynamic network in python tests (#1850)

[Python API] Deprecation of DataPtr.creator_layer and DataPtr.input_to properties (#1905)

Partial revert a commit with reference implementations of PriorBox(Clustered) ops (#1878)

* partial revert a commit with reference implementations of PriorBox(Clustered), disable references for this ops

* ngraph codestyle

* disable const folding unit tests for PriorBox(Clustered)

* fix arm build

* fix unit test

* Revert "fix unit test"

This reverts commit 1fe59e55d620c430e81c52edd3fc46f2b5b1a9b9.

[ MO ] Reinfer shape sub-graphs once (#1908)

* [ MO ] Reinfer shape sub-graphs once

* feedback

* feedback

Added test for Pad (#1902)

* Addded test for Pad

* Add builder

Fix Assign, Matmul ops for correct work with keep_shape_ops feature for Kaldi models (#1885)

* fix assign and matmul ops

* fix unit test

* static shapes by default for kaldi

[IE CLDNN] Enabled tensor pitches in topk kernel for 0 input (#1898)

[IE CLDNN] Forcing bfzyx format in MVN layer (#1903)

Reduce number of ops needed to create InstanceNorm (#1896)

* Reduce number of ops needed to create InstanceNorm

InstanceNorm in onnx importer creates the same subgraph for Mean twice - once for Variance and once for actual Mean.
This change makes InstanceNorm to use single Mean which is shared by numerator and Variance.

Also enables IE_CPU.onnx_model_instance_normalization test case

* Revert changes to .gitignore

[IE CLDNN] FP16 support for some quantized kernels (#1855)

Linux clang compilation error fix (#1891)

[ MO ] Change layout of Shape sub-graphs once (#1875)

* [ MO ] Change layout of Shape sub-graphs once

Accept empty initializers from ONNX models (#1776)

* Accept empty initializers from ONNX models

* Create dummy constants instead of null nodes

* Code formatting

* Test the empty initializers handling in onnx importer