Enable NonMaxSuppression-5 operation and various transformations  (#2450)

* Some code style fixes.

* Started to write the method v5::NonMaxSuppression::evaluate().

* Started to write nGraph reference implementation of NMS-5.

* Some additions.

* Written preprocessing of boxes data.

* Started to write the function non_max_suppression() that calculates NonMaxSuppression-5 operation.

* Written postprocessing of the evaluate().

* Small fixes.

* Small fix.

* Added include for ngraph/shape.hpp.

* Written the function intersectionOverUnion.

* Some additions.

* Small fix.

* Continued to write the function non_max_suppression().

* Small fixes.

* Small fixes.

* Some changes.

* Some additions.

* Some replacements size_t by int64_t.

* Added casts to float in the construction of selected_score variable.

* Code style fixes.

* Written draft of NMS-5 nGraph reference implementation.

* Code style fixes.

* Started to write tests for void op::v5::NonMaxSuppression::validate_and_infer_types().

* Added tests for scalars/nonscalars.

* Fixes in the test type_prop.nms_v5_output_shape.

* Fixes in tests nms_v5_output_shape_2 and nms_v5_output_shape.

* Written tests for validate_and_infer_types() of NMS-5.

* Code style fixes.

* Now NMS-5 evaluate() can have outputs with calculated shapes.

* Small fixes.

* Corrected tests for NMS-5 validate_and_infer_type().

* Code style fixes.

* Started to write inner version of NMS-5 with static output shapes.

* Written draft of the inner operation NonMaxSuppressionIE3.

* Started to write conversion of op::v5::NonMaxSuppression into NonMaxSuppressionIE3.

* Small changes.

* Some additions.

* Small fixes.

* Fixed typo.

* Fixed typos.

* Written draft of the transformation ConvertNMS5ToLegacyMatcher that converts ngraph::opset5::NonMaxSuppression into op::NonMaxSuppressionIE3.

* Written header file for the transformations from NMS-1, NMS-3, NMS-4 to NMS-5.

* Started to write conversion of NMS-4 to NMS-5.

* Added include for ngraph/opsets/opset4.hpp.

* Started to write conversion of NMS-3 to NMS-5.

* Small fixes.

* Written draft of the conversion of NMS-3 into NMS-5.

* Fixed typo.

* Started to write conversion of NMS-1 to NMS-5.

* Written draft of the conversion NMS-1 to NMS-5.

* Started to write tests for the conversion nGraph NMS-5 to inner NMS.

* Started to write the test ConvertNMS5ToNMSIEStatic.

* Written tests for conversion of nGraph NMS-5 to inner NMSIE3.

* Started to write tests for conversion of previous NMS to nGraph NMS-5.

* Written tests for conversion of old nGraph NMS to NMS-5.

* Started to write tests for opset5::NonMaxSuppression::evaluate().

* Some additions.

* Small fix.

* Written tests for op::v5::NonMaxSuppression::evaluate().

* Used NGRAPH_RTTI_DECLARATION for NonMaxSuppressionIE3.

* Used NGRAPH_RTTI_DECLARATION for NMS-5.

* All static local constants and functions for NMS-5 were moved into non-named namespace.

* Some code style fixes.

* Moved some file.

* Small fix.

* Code style fix.

* Now NMS-5 supports all floating types in inputs 0 and 1.

* Moved some files.

* Fixed include directive in the file convert_nms_5_to_legacy.cpp with transformations NMS-1, 3, 4 -> NMS-5.

* Small changes.

* Deleted conversion NMS-3 -> legacy.

* Small changes.

* Fix in op::v5::NonMaxSuppression::evaluate: output shape [1] instead of [] in the output port 2.

* Code style fixes.

* Deleted conversion of NMS-4 into legacy NMS.

* Deleted redundant ifs.

* Added NMS-5 to Python API.

* Code style fix.

* Small change.

* Fixed element type for constants in the conversion of NMS-5 to NMSIE3.

* Deleted support of f64 in NMS-5.

* Added checks for input element types for inputs #0, #1, #3, #4, #5.

* Small change.

* Now get_floats throws an exception for unsupported types.

* Now nGraph NMS-5 supports 0D and 1D tensors in inputs #2, #3, #4, #5.

* Small fix in test_non_max_suppression.

* Deleted using namespace std

* Fixes in test_non_max_suppression().

* Small fixes.

* Added 'import PartialShape' in test_reduction.py.

* Deleted creating fake inputs in the ctor of op::v5::NonMaxSuppression.

* Deleted creating fake inputs in op::v5::NonMaxSuppression::clone_with_new_inputs.

* Corrections in int64_t op::v5::NonMaxSuppression::max_boxes_output_from_input() const.

* Corrected functions float op::v5::NonMaxSuppression::soft_nms_sigma_from_input() const, float op::v5::NonMaxSuppression::score_threshold_from_input() const,  float op::v5::NonMaxSuppression::iou_threshold_from_input() const.

* Small fixes.

* Deleted commented code.

* Fixes in nms_v5_scalar_inputs_check.

* Some changes.

* Small fixes.

* Code style fixes.

* Small changes.

* Small changes.

* Small fix.

* Deleted commented code.

* Some refactoring in ConvertNMS4ToNMS5 ctor.

* Small fix.

* Common part of conversions NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 was moved into the separate function.

* Now conversions NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 support both 2 inputs, and 5 inputs.

* Now transformations NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 are called from 'umbrella' transformation.

* Now the transformation ConvertNMS5ToLegacyMatcher supports NMS-5 with 2, 3, 4, 5, or 6 inputs.

* The transformation ConvertNMS5ToLegacyMatcher was rewritten using Reshape instead of Unsqueeze.

* Started to rewrite tests for the transformation ConvertNMS5ToLegacyMatcher.

* Some fixes.

* Small fixes.

* Corrected tests for the transformation NMS-5 -> NMSIE3.

* Small formatting fix.

* Now methods max_boxes_output_from_input(), iou_threshold_from_input(), score_threshold_from_input(), soft_nms_sigma_from_input() of op::v5::NunMaxSuppression are public.

* Started to move op::v5::NonMaxSuppression::evaluate() into ngraph/test/runtime/interpreter.

* Added NMS-5 to ngraph/test/runtime/interpreter/int_executable.

* Small fixes.

* Code style fixes.

* Written draft test nonmaxsuppression_center_point_box_format_backend in ngraph/test/backend.

* Small fix.

* Written draft tests of NonMaxSuppression in ngraph/test/runtime.

* Some changes.

* Small changes.

* Disabled IE_CPU tests for NMS-5.

* Deleted op_eval tests for NMS-5.

* Deleted evaluate() method of NMS-5.

* Now all nGraph functions in tests of the transformation NMS-5 -> NMSIE3 have one output.

* Now preprocessing and postprocessing of the calculation of NMS-5 in reference implementation.

* Code style fixes.

* Some fixes in tests for the transformation NMS-5 -> NMSIE3.

* Replaced precision i64 -> i32 for some constants in tests for the transformation NMS-5 -> NMSIE3.

* Written creating CNNLayer for NMS-5.

* Added creating CNNLayer for NonMaxSuppressionIE3.

* some changes.

* Now conversions NMS-1, NMS-3, NMS-4 -> NMS-5  and NMS-5 -> NMSIE3 generate NMS nodes with 5 inputs.

* Fixed ctor in MKLDNN NonMaxSuppressionImpl: validation of number of output edges.

* Added conversion of output_type for NMS-5.

* Fixes in the transformation NMS5 -> NMSIE3.

* Fixes in the conversion of NMS-5 to NMSIE3.

* Fixes in MKLDNN NMS ctor.

* Small fix.

* Fixed tests for the transformation NMS5 -> NMSIE3.

* Fixed tests for conversions NMS-1, NMS-3, NMS-4 -> NMS-5.

* Small fixes in MKLDNN NMS ctor.

* Rewritten create_layer() functions for NMS-5 and NMSIE3 as addSpecificCreator() functions.

* Disabled tests for IE IR reader for NMS-4.

* Deleted debug code.

* Added comment about disabling tests IE_CPU.nonmaxsuppression.

* Written IE IR Reader test for NMS-4.

* Deleted function float_from_constant_node.

* Small fixes.

* Deleted functions function_from_model and construct_weights.

* Small fix.

* Replaced push_back with emplace_back in the conversion of NMS-5 to legacy.

* Small changes.

* Some fixes.

* Refactored reference implementation of NMS-5.

* Moved structure NMSAttributes to unnamed namespace.

* Code style fixes.

* Small fix.

Fix the NHWC->NCHW transformation for dynamic weights (#2848)

* Fix the NHWC->NCHW transformation when weights and data comes from same input

* Simplify code

MatMul spec update (#2765)

Aligned specification with nGraph MatMul shape inference operation. Affects description of the behavior for 1D tensors.

[LPT] integration branch: Reshape fix, Concat generalization, runtime info usage extending (#2930)

* [LPT] Concat transformation generalization

* [LPT] Reshape transformation fix

* [LPT] Legacy callback fix

* [LPT] * added rt_info propagation
      * functional tests: added rt_info
      * functional tests: added MoveDequatnizationAfter tests

Co-authored-by: Vladislav Golubev <vladislav.golubev@intel.com>

Low Latency transformation (#2869)

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* added 1 more ctor

* style fixes

* used new api in ir parser

* fixed build

* update low latency transformation, fix unroll transformation, add unit tests, modify subgraph tests

* fix low latency transformation

* Update low latency transformation, unit and sub-graph tests

* update LowLatency transformation and tests

* ngraph codestyle

* fix build, update description

* resolve review remarks

Co-authored-by: Svetlana Dolinina <svetlana.a.dolinina@intel.com>

[OpenCL] movi-cltools-20.09.2 (#2912)

[CPU] Added LogSoftmax-5 support (#2743)

Remove deprecated v0::TopK (#2947)

* Remove deprecated v0::TopK

* Remove using SortType and using Mode from TopK

* apply code format

* Revert "Remove using SortType and using Mode from TopK"

This reverts commit ee2f99ea89583f0cc5c34fe633dfbe900f4d1741.

Remove deprecated v0::Softmax (#2917)

Feature/azaytsev/layout updates (#2985)

* Reconfigured the layouts with importing the dedicated POT layout and Accuracy Checker and Model Downloader items from the OMZ layout

* updated

* test

* test

* Moved the Model Downloader from ie_docs.xml to openvino_docs.xml

* Renamed optimization_docs.xml --> pot_docs.xml

* Added Model Server to the layout

* Minor fixes

[IE CLDNN] Removed unused conv kernels (#2995)

[CPU] Added support NMS-5 (#2768)

[IE CLDNN] Plugin-side kernels caching (#2871)

ovms doc fix (#2988)

* added OpenVINO Model Server

* ovms doc fixes

Added support for the Loop operation in the MO IR Reader (#2971)

* Added support for the Loop operation in the MO IR Reader

[GNA] support for 3D [1,1,X] import/output (#2893)

* [GNA] support for 3D [1,1,X] import/output

* [GNA] add check for C == 1 and H == 1

* [GNA] fix input dimensions restrictions for 3d

[IE][VPU] Proposal stage: fixed check for optional 2nd output (#2980)

Fixed check for omitted 2nd optional output

Fixed disable/enable logic in PassConfig (#2940)

* Fixed disable/enable logic in PassConfig

* Removed set_pass_config method for Manager; added comments

setupvars.bat: Fixed names for major and minor python version vars (#2986)

[install_prerequisites.sh] remove libgfortran5, add framework to venv folder name (#2969)

Fix ngraph core opset createinsensitive (#2961)

* Fix: ITT_INCLUDE_DIR was not correctly detected

* Map find result not compared with the right iterator.

* Force recheck

[IE][VPU] Fix NMS DTS (#2880)

Add a new constructor to fix absent NMS-5 inputs that will be introduced after #2450 will be merged.

Update ONNX models preprocessing script (#2936)

* Update onnx zoo models

* Update xfail list

* Update xfails

Moved find_package(TBB) inside set_ie_threading_interface_for (#2966)

Enable LTO only for Release (#2968)

Multi process build for MSVC (#2974)

Update xfails (#2979)

Remove obsoleted v0::Sum op (#2938)

Remove obsoleted v0::Slice and v0::Split ops (#2908)

* Remove obsoleted v0::Slice op

* Remove deprecated v0::Split op

* Fix build_graph tests

Remove obsoleted v0::QuantizedConvolution op (#2958)

Fix testcase CheckExecGraphInfoSerialization (#2973)

* Generate unique output file names in CheckExecGraphInfoSerialization testcase.

When multiple instances of this test were executed in parallel the same
file was accessed by multiple threads which was the cause of flakiness.

* Enable ExecGraphTests.CheckExecGraphInfoSerialization on GPU

Update Custom_Layers_Guide.md (#2964)

Update misspelling on ONNX

Fix serialization of execution graph. (#2901)

* Fix serialization of execution graph.

* Add exec graph comparison.

* Align execution graph serialization to old aproach.

* Revise error massages.

* Fixed execution graph comparison.

Now only attribute names are compared since values can differ on
different devices.

* Readability refactoring.

* Refactoring regarding readability.

[IE CLDNN] Added inference precision into execution graph (#2913)

[CPU] CTCLoss sporadic issue. (#2934)

* [CPU] CTCLoss sporadic issue.

* [Tests] Enable CTCLoss tests.

[IE CLDNN] Add asymmetric quantization support to fsv16 imad general convolution kernel (#2778)

[IE CLDNN] Convolutition optimizations for small channels count (#2849)

[ONNX][PyTests] Fix result datatype missmatch (#2596)

Expand ONNX functions to sub-graphs before import (#2733)

Co-authored-by: Bartosz Sledz <bartosz.sledz@intel.com>

Azure CL: Improve yaml (#2951)

* Azure CL: Improve yaml

* Fix installing requirements

* Add run onnxImporterUnitTests

[IE] Add batched blob support (#2203)

* [IE] Add batched blob support

New `class BatchedBlob : public CompoundBlob` defined to allow to pass multiple blobs as 1 InferRequest input.

Motivation: There is the special user case when a number of plain images (e.g. `NV12Blob`) should be passed as one input for network which batch size > 1.

`class CompoundBlob` is not applicable for such cases due to:
1. `NV12Blob` is `CompoundBlob` which prevents to combine multiple NV12 images to a CompoundBlob
2. The default behavior in most of plugins - do not accept generic CompoundBlob as `SetBlob()` argument

Adding `SetBlob(name, vector<Blob::Ptr>...)` to `class IInferRequest`, `class InferRequest`, `class IInferRequestInternal`, ...  - is not effective solution due to limited and specific use cases for `batched inputs`.

+ Apply rule-of-zero to CompoundBlob and inherited classes.

* Add "BATCHED_BLOB" optimization capability metric

* Add BatchedBlob usage to hello_nv12_input_classification

* Apply offline code review outcome:

1. Revert CompoundBlob public .ctors signatures
2. Remove 'workaround' .ctor for `BatchedBlob`
3. Revert tensor descriptors of `I420Blob` `NV12Blob` back to the 'fake' value.

* Code review fix

* Add functional tests for CPU, GPU, MULTI, HETERO

* update doc comment

* Apply code review change requests.

Updated requirements dependency (#2950)

Sigmoid revise (#2942)

* remove sigmoid_backprop

* Update Sigmoid spec

* Update Sigmoid spec

[IE TESTS] Fix reg exp for issue 42029 (#2957)

Aligned python read_network() with C/C++ behaviour (#2916)

Aligned python read_network() with C/C++ behaviour

Excluded mandatory check of weights file, it is redundant

* Added unit tests

Added info on DockerHub CI Framework (#2918)

[GNA] Set default compact_mode (#2895)

Add IR reader test for hsigmoid op (#2825)

* Add IR reader test for hsigmoid op

* update ir

* Fix decomposition

* Update hsigmoid ir reader test

* Update unit test

* fix test

[IE CLDNN] Fix X/Y swap in NV12 shared surface input layout (#2949)

Abort previous builds on PR update (#2877)

[IE][VPU]: Support for Bidirectional mode in Broadcast DTS (#2873)

* [VPU][DTS] Update broadcast DTS to support BIDIRECTIONAL mode
* [VPU][Tests] Update tests with inference
* [VPU][Tests] Extend DTS tests

[IE][VPU]: Interpolate - reuse "interp", "resample" layers (#2932)

Reuse existing "interp", "resample" layers
task: #-29955

Fixed README (#2948)

Fix cases when identities inserted identites are separated by nonFunctional layers (#2771)

Handle multiple GNA devices and modes HW/SW (#2720)

* Introduce Gna2DeviceGetCount

* Check for the number of GNA devices

* Add Gna2DeviceGetCount() mock

[GNA] Added export input/output names (#2601)

* [GNA] Added export input/output names

* fix comment

* Change version

Remove obsoleted v0::Reshape operator (#2878)

* Remove obsoleted v0::Reshape operator

* Fix handling negative dims on 32 bit platforms

Change-Id: Ia18e20df9a79fd0b7b38c434bee7140599833952

* apply code format

Change-Id: I4ddfb9e7033cbc97e167922f6ee5873d5487e551

Added check in hello sample (#2896)

* Added check in hello sample

* move check before inference

Compilation with MSVC for ARM (#2928)

* Enable compilation with MSVC for ARM / ARM64

* Condition fix

Added transformation config to support automl efficientdet models (#2894)

* Added transformation config to support automl efficientdet-4 model

* Added configuration file to convert Automl EfficientDet model

* Updated unit test for Pack

* Added instruction on how to convert EfficientDet Tensorflow model

* Updated documentation on how to convert EfficientDet model

* Updated a documentation with instruction on how to convert Automl EfficientDet.

[CPU] Added eltwise Round-5 (#2347)

Fixed FAST build mode (#2926)

[IE TESTS] Split Layer Test refactoring (#2915)

Co-authored-by: kora6 <kora6@github.com>

Remove remaining Myriad-2 references (#2853)

* Fix Myriad firmware copying command for multi-target cmake generators

* Remove remaining Myriad-2 references

* Remove remaining Myriad-2 compute stick from documentation

Change pip install documentation (#2884)

Visitor API deserialization - create models for ops (#2889)

* add tests for 11 operators, which compare V7 and V10 version of the model optimizer

* add test for space_to_depth model

[IE CLDNN] Fixed unitialized parameters in resample primitive which led to kernels recompilation (#2923)

Unmark passed ONNX test

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] One more trivival loop test

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] Fix case with unused port in Loop body

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] One more trivial test case on Loop

Also fixed compilation with gcc4.8

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] Improve replication of passthrough Loop body

There was some problem with replicatioon of simple loop body where
input was used as output as is.

Also was voided usage of special prefixes like "in_" for Loop body inputs.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Min. Additional assert in copyTIBoody

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] Several more Loop test with static shapes

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] implement Loop specification of TI node

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[NG] Keep special purposes port info in Loop after conversion to legacy

Also:
Simplified logic of data object name restoring. Avoid duplicatin of input ports
in case of multiple consumers. Provided code has WA comment in corresponding
naming restore section. Also added WA section with restore U8 precision for ouputs.
Avoid to eliminate limitation of CNNNetwork converter.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] improve data utils

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Avoid '-' symbol for test name

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Loop tests enabled back

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[IE] Improve Network topological sort in case of disconnected graph

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Improve CopyTIBody util to cover disconnected graphs

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Remove obsoleted v0::StopGradient op (#2935)

refactor one-hot nGraph backend test (#2578)

Avoid verbose return-type warnings (#2420)

nGraph backend tests refactor: gather, numeric (#2367)

Fixed compilation errors / warnings with clang (#2929)

Remove obsoleted v0::Or operator (#2857)

* Remove obsoleted v0::Or operator

* apply style format

Remove deprecated v0::Round op (#2905)

Remove deprecated v0::Reverse op (#2899)

* Remove deprecated v0::Reverse op

* fix unit tests

* add include for std::inserter

Temporarily skip ExecGraphTests.CheckExecGraphInfoSerialization on GPU (#2921)

* Skip ExecGraphTests.CheckExecGraphInfoSerialization on GPU

* [execution_graph_tests] Add test skipping macro

* Add missing import

Adding sinks to ngraph::Function (#2741)

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* added 1 more ctor

* style fixes

* used new api in ir parser

* fixed build

* review fixes

* remove validate_nodes_and_infer_types from remove_sink/remove_result

* removed validate_.. after discussion

* style fix

[IE][VPU]: GatherND layer & tests (#2710)

* GatherND layer & test
* Update vpu firmware 1452

[LPT] nGraph nodes naming fix (#2822)

* [LPT] functional tests: FakeQuantize with dynamic intervals

* [LPT] decomposeFakeQuantize: removed debug info

* [LPT] Add NetworkHelper::mark_as_dequantization_op function

[ngraph] Fix compare runtime info function

[LPT] Fix test cases with no DEQUANTIZATION runtime attribute

[LPT] Change include path for dequantization op

* [LPT] Remove Subtract functional test, enable and rename legacy tests

Co-authored-by: Vladislav Golubev <vladislav.golubev@intel.com>
Co-authored-by: Aleksandr Pertovsky <aleksandr.pertovsky@intel.com>

Added support for Visual Studio VERSIONINFO (#2900)

* Generate vs_version file

* Fixed comments

* Fixed comments

Fixed cmake stage with BUILD_SHARED_LIBS=ON (#2914)

Fixed compilation with ENABLE_V7_SERIALIZE=ON (#2898)

* Fixed compilation with ENABLE_V7_SERIALIZE=ON

* Removed legacy code

added OpenVINO Model Server to docs (#2541)

* added OpenVINO Model Server

* updated documentation to include valid links

* minor fixes

* Fixed links and style

* Update README.md

fixed links to model_server

* more corrections

* dropped reference in ie_docs and minor fixes

* Update README.md

Fixed links to Inference Engine pages

Co-authored-by: Alina Alborova <alina.alborova@intel.com>
Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

[IE CLDNN] Added int8 output suppirt into bfyx_to_fsv16 fp kernel (#2906)

[IE CLDNN] Fix for some unwanted behaviour in layout optimizer (#2669)

[MO] Add CMake install for Model Optimizer (28291) (#2831)

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] fix file permissions for install location