small refactor samples setBatchSize (#3053)

* small refactor samples setBatchSize

Extend test coverage for ONNX Resize Operator (#3086)

Add ceil_mode for Max and Avg pooling (#2965)

Bump wheel from 0.34.2 to 0.35.1 in /ngraph/python (#3120)

[CPU] Broadcast check has been added to the ConvertPowerToPowerIEMatcher transformation. (#3132)

* [CPU] Added broadcast check to the ConvertPowerToPowerIE transformation.

* [CPU] Eltwise single layer test instance extended with a two inputs case.

Fixed negative paddings for convolution backprop data (#3117)

* Fixed negative paddings for convolution backprop data

* Fixed code style

* Fixed comments

add tests for 5 ops based on model zoo (#3062)

* add tests for 5 ops based on model zoo

* remove unnecessary layers from the test

* add test case with merge_repeated=0

* remove unnecessary layers and add new test casae with do_softmax=0

* remove unnecessary layers from the test

Revert "Erase from unwaited requests container on QoS abort (#3125)" (#3148)

This reverts commit d7e98f605d157ebf3dd986b4336a9b0a76da7f80.

Erase from unwaited requests container on QoS abort (#3125)

Enablement of GatherND tests (nG & ONNX) (#3013)

Fixed klockwork (#3119)

Alignment model and input (#3115)

[BugFix] Fix compilation error caused by typo in #3109 (#3135)

Improve reshapeability of models with eltwise nodes influencing shapes (#2767)

* Fix ElementwiseInputReshape transformation

Reshape node always needs to be inserted
in order to preserve ShapeOf nodes (reshapability of a model) that can potentially be above
elementwise node.

Refactor EltwiseInputReshape_test and EltwiseInputNormalization_test since the logic of maintaining reshape for eltwise has been changed.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Merge EltwiseInputNormalization and EltwiseInputReshape transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove Unsqueeze from Fused_op

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after code review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code review #4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Perform full normalization based on shapes of all inputs to eltwise

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Refactor much to avoid old API and edges with unsqueeze_dims attribute

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE][VPU][XLink]: XLink semaphore wrappers impl (#3079)

XLink wrappers for POSIX semaphore functions (refer sem_overview for details). In the description of standard sem_destroy the following is noted:
"Destroying a semaphore that other processes or threads are currently blocked on (in sem_wait(3)) produces undefined behavior."
XLink wrappers use thread-safe reference count and destroy the semaphore only in case if there are no waiters.

* XLink semaphore wrapper impl
* Extend XLink win_synchapi

Propogate DEVICE_ID for functions working with RemoteContext (#3109)

* Propogate DEVICE_ID for functions working with RemoteContext

* More fixes for RemoteContext

* Fixed tests compilation with VariableState

[GNA] fix 4d batch size eltwise issue (#3127)

Enable segfaulting getAvailableDevices, ExecGraphSerializationTest.ExecutionGraph_CPU after segfaults are fixed (#3124)

[GNA] 4D concat align pass (#2970)

* [GNA] Fix RemovePermutationsNHWCToNCHWPass in cases that permute input has many outData

* style

* [GNA] linux test fail fix

[CPU] fix NMS-5 CentOS7 error (#3083)

ONNX LSTM fix get_shape error (#3033)

* ONNX LSTM get dimension only if required

* Test dynamic onnx lstm model import

* Enable LSTM_Seq_lens_unpacked_model import test

* Disable model zoo execution test "MSFT_opset9_LSTM_Seq_lens_unpacked"

* Add missed comma in xfail list

* Update error messages

* init xfail issue

* test zoo models import xfail issue

* Fix SEQ_LENGTH init

* Comments update

* Fix usage of v0::Add by overloaded operator

[IE CLDNN] Fixed pad value used for input coords calculation in fsv16 imad conv (#3081)

nGraph: fix TopK output shape inference (#2967)

* nGraph: Fix TopK output shape inference

* nGraph: Correct TopK output shape inference

TopK lower bound of output shape at the axis was mistakenly calculated
basing on max_lenght instead of min_lenght.

* nGraph: Correct TopK output shape inference

* nGraph: Correct TopK type prop test

The topk_negative_axis_support type properties test was comparing
incompatible variables carrying the same value. So it was passing ok.

* nGraph: Add TopK type prop test

* nGraph: Fix code style

* nGraph: Follow review guidelines

Improve variables meaning.
Enforce rigid test pass condition.

* nGraph: Remove magic numbers

Create u-tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS) (#3102)

* Create tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS)

* Suppress deprecated definition errors

* Fix warning

Revert "Reshape-able SliceConverter (#2954)" (#3118)

This reverts commit b437387bd536532467b9b29d25a082bf0fdc33d1.

Enable CPU and Interpreter Loop tests (#3042)

[nGraph] MatMul - Remove fused op and align output shape inference (#2866)

To follow MatMul spec update for 1D tensors this PR removes FusedOp decomposition for MatMul without changing current MatMul output shape inference logic (numpy/onnx aligned).
Based on previous PR #2212 that follows rather current spec logic.

Improve ConvertBroadcast3 pass to avoid extra Multiply operations for BIDIRECTIONAL mode (#3113)

* Fixed ConvertBroadcast3 pass for BIDIRECTIONAL mode to avoid excess Multiply operations

* Added funcitonal tests for new decompositions

* Return false if mode is unknown; avoid usign node in replace_node

* Added functional tests for cases when TargetShape input is not a Constant

[OpenVino ONNX CI watchdog] Small improvements (#3096)

* Small improvements

* Enlarge pending status

[IE CLDNN] Fix for fusing Activation into Eltwise primitive in fused_conv_eltwise primitive case usgae (#2997)

Add Dependabot configuration (#3029)

* Add Dependabot configuration

* Update config to Dependabot native

Hetero KW warning fix (#3107)

[LPT] POT support: absent convert fix & element-wise empty dequantization data (#3067)

[IE CLDNN] Cleanup cldnn source tree and README (#3043)

[IE CLDNN] Fixed fmt traits map (#3088)

[VPU][NGraph] Extend TopK K propagation (#2943)

* [VPU][NGraph] Support ShapeOf and Gather in TopK K propagation

* [VPU] Save calculated K value

* [VPU][Tests] Introduces tests

* [Tests] Review fixes

Disable test ExecGraphSerializationTest.ExecutionGraph_CPU (#3097)

* Disable test ExecGraphSerializationTest.ExecutionGraph_CPU as temporary measure to avoid segfault

* Disable segfaulting getAvailableDevices

install_NEO_OCL_driver: Added user to render group. (#3099)

[IE][VPU]: GatherND DTS transformation (#3025)

* Implement GatherND DTS
* Introduce tests on DTS
* Introduce tests on DSR+GatherND

[GNA] Added tests for negative memory layer offset and split - trivial permute - concat scenario (#2989)

add getting nms_threshold / iou_threshold from RetinaNet (#3075)

* added getting nms_threshold/iou_threshold from original TF RetinaNet model

* iou_threshold definition added

* fixed getting iou_threshold for TF NMS V2, some minor corrections

* added box_encoding to NMS extractors

Removed const_cast from addOutput method (#3091)

[CPU] Converted Pad Layer to MKLDNNNode and added more optimized implementations (#2586)

Pad-1: fixed ngraph reference for symmetric mode and added cpu tests

ITT performance counters for first inference (#1741)

* ITT performance counters for first inference

ITT counters for nGraph passes

* RTTI for trnasformation passes

* The MKLDNN plugin first inference counters improvements

[IE][VPU][TESTS]: support different modes for Interpolate (#2963)

Fixed KW for Windows (#3089)

* Fixed KW for Windows

* Fixed code style

* Fixed compilation

Move QueryState from ExecutableNetwork to InferRequest (#2818)

* QueryState moved to InferRequest

* deprecate ExecutableNetwork::QueryState,chaged tests (without any check yet)

* fix build

* review fixes + build fix

* build fix + review changes

* remove blank line

* style fixes

* test build fixes

* style fix

* style fix

* fixed build of tests

* fix

* mac build fix

* hddl plugin build fix

* clean up unneeded implementation for method

* fixed tests build

* add implementation for getstate, correct getName for MklDNN

* fixed description of state API in comments

* lint fixes

* Rename MemoryState to VariableState

* added tests for cpu for VariableStates, several small fixes in tests and code

* merge fix

* lint fix

* remove whitespaces

* spaces fix

* fix in test to make it workable for all plugins

* fix typo

* fix test for gna

* remove extra comment

* fix test for gna

Summary report generator for layer and subgraph tests (#2707)

* Initial summary dumper implementation

* Handle Tensoriterator body + add parser script

* Add support of XML reports merging + report OP names with versions

* Remove debug device name change

* Fix windows building issue

* Add --disable_test_skips command line option

* Gtest failure with logging

* Change skipping logic and resolve linkage errors caused by extern

* Get graph body from Loop

* Fix disable_tests_skipping symbol redefinition

* Fix inline for currentTestIsDisabled

* Rollback get_body for Loop

* Handle cases with skip in test SetUp

* Report Loop and TI ops along with ops in subgraph body

* Resolve some PR comments

* Dummy commit to kick pre-commit validation

Co-authored-by: Efode, Irina <irina.efode@intel.com>

Fixed transformations looking for FusedBatchNorm operation to look for FBNV2 and FBNV3 also (#3078)

* Fixed transformations looking for FusedBatchNorm operation to consider FusedBatchNormV2 and FusedBatchNormV3 also.

* Updated unit test for FusedBatchNormTraining

* Fixed unit test

[IE][VPU]: Implement VPU Ngraph EIP->ReorgYolo transformation (#3066)

* We need to convert ExtractImagePatches op to ReorgYolo to restore the working capacity of myriad plugin while compiling Yolo-v2 models.
* It was previously removed in #2687

Don't build extra module if it doesn't have cmake files (#3074)

[LPT] Dequantization constant output precision handling extending (#2987)

* [LPT] moveDequantizationAfter fix

* [LPT] ConcatTransformation fix: only intermediate operations are handled

[IE][VPU]: Optimize swish layer and remove swish replacement pass (#2993)

* Swish layer optimization
* Update VPU firmware 1468

retinanet onnx model has Upsample error (#3052)

* Commit.

* Fixed infer function of ONNXResize11 operation.

* Small fixes.

* Written unit tests for shape calculation for ONNXResize11.

Removal of obsolete constant folding passes (#2902)

* Redundant op::Max CF removal

* Redundant op::Min CF removal

* Redundant op::Sum & op::Product CF removal

* CF Min and Max using evaluate()

* Arithmetic reduction CF pass removal

* Quantize op CF pass removal

* Convert op CF pass removal

* Logical reduction CF pass removal

* Select op CF pass removal

* OneHot CF pass removal

* Code formatting

* ScatterElements CF pass removal

* Gather CF pass removal

* Disable a Quantize op test that fails in CI

* CF pass cleanup

* Convert op cleanup and test adaptation to spec

* Possible fix for failing VPU tests

* Limit the types used in OneHot::evaluate

* Quantize op evaluator removal

* Refactor of Gather evaluator

Fix spelling errors in samples and documentation (#2795)

* Fix spelling errors in samples

* Fix spelling errors in the documentation

[LPT] CNNNetwork LPT removal (#3035)

* [LPT] CNNNetwork LPT removal

* Fixes for LPT removal

Co-authored-by: Ilya Lavrenov <ilya.lavrenov@intel.com>

Fix GatherND to output dynamic rank tensor (#3073)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE][VPU][Tests]: Fix NMS DTS outputs naming + tests (#3040)

* Fix dynamic output case in interpreterFunction. For dynamic output cases, we can't call get_shape on the result because it's shape is dynamic, instead, we should take the real output shape from output HostTensor
* Fix outputs naming as it's done in other DTS transformation for operations with multiple outputs (Split, TopK, etc).

Ticket - #-42421

[IE CLDNN] Add asymmetric quantization support to reference convolution imad kernel (#2994)

Added support for a new version of the TF OD API pre-processing part (#3063)

* Added support for a new version of the TF OD API pre-processing part of the mode

* Get rid of legacy API usage

* Fix comment and added assert

* Wording

[IE CLDNN] Added LogSoftmax-5 operation (#2945)

Fix wrong statement in ConvertConvolutions transformation (#3056)

* Fixed wrong statement in ConvertConvolution transformation

* Added tests

* FIXME: 42956

[CPU] Proposal layer. Check img info input. (#2456)

[GNA] Added Multiplication 1x1x1 (#2470)

* [GNA] Broadcast power primitive

[GNA] Broadcast power primitive

[GNA] Added Multiplication 1x1x1

[GNA] Broadcast power primitive

Added secondary changes

* Added fix test

[IE][VPU]: support new operation CEILING (#3004)

Add new Operation "Ceiling" for VPU Myriad
task: -42885

Reshape-able SliceConverter (#2954)

* initial commit

* add cast

* data type fix

* added tests

* added test without axes and steps

* remove redundant imports

* discussions resolving

* Add cast to TFSliceToSlice

* layer tests fix

* update unittest

Provide GatherND with original layout for inputs and output (#3002)

* Provide GatherND with original layout for inputs and output

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[GNA] fixed case when input connected to concat from left and const from right (#2874)

* Added test

* Added fix

* Fix comment

* Fix conflict

[GNA] Added fix for export scores (#3009)

OneCore toolchain (#3044)

* Added OneCoreUap toolchain file

* Intentation

* Updated OneCore toolchain

* Fixed linkage error with static runtime

* Link reader_api library

* Enable static runtime for ONNX part

* Allow to override flags

* Added flag for clDNN; plus refactoring

* Fix Includes

* Added toolchain check

* Added apivalidator for MYRIAD plugin

* Added commented apivalidator for CLDNN plugin

Reference implementations for Loop and TensorIterator ops (#2978)

* Loop op ngraph implementation, update IE IR Reader and ngraph to cnn converter

* refactoring SubGraphOp class

* type prop unit tests

* ngraph code style

* update comment

* single layer tests for Loop operation

* fix file name

* Add SpecialBodyPorts attribute in Loop op, update single layer tests

* first debug version

* more tests

* missing test file

* removed not needed shapes from test data

* move test data to new folder

* shape infer tests

* Added execution tests

* add several new tests cases, strict checks in Loop impl, temporary disable single layer tests

* ngraph codestyle, refactoring, clone_new_args test

* resolve review remarks

* fix build

* fix tests

* more execution tests

* add a new constructor of Loop op, resolve review remarks

* execution tests

* synchro with current version

* handle scalars and more tests

* scalar test enabled

* loop reference impl

* bug fixes in tests, onnx importer part and in the ref implementation of the Loop op

* applied remarks

* handle unsupported cases

* rewrite unit tests

* update INTERPRETER manifest

* is_termination_condition_always_true simplification

* [TEST] update python models tests

* review remarks

* added xfail to tiny_yolov3

* missing model test

* revert test data

* fixed numbers of failing tests

* fixed failed test description

* fix test message

* fix xfail test

* reference implementation for ngraph::function

* update loop reference implementation

* Refactor loop reference implementation

* ngraph codestyle

* Refactoring

* Submodule update

* Skip check for Reduce ops in mkl for scalar cases, support for yolov3

* fix ngraph reader tests

* revert ceiling op, renaming

* Add allias(Ceiling) for Ceil op in mkl

* delete xfails

* fix build

* single layer tests for tensor iterarator

* Refactor TensorIterator and Loop ref impls

* revert dynamic tensor creation, disable some dynamic test cases

* fix warning

* Resolve review remarks

* revert Predefined values in Loop tests

Co-authored-by: Mateusz Bencer <mateusz.bencer@intel.com>

Add fix for multiple_activations test (#2984)

* Add fix for multiple_activations test

   - Add forbid activation fusing pass for GNA2 library
   - Fix get all prev layers fnct
   - To enable GNA_NoRegression.smoke_multiple_activations_onGNA_INT16

* Apply Bartek review

[IE][Myriad] Fixing global_lock_fd locking in mvnc (#3024)

Set friendly name in order to operate with it on visit attributes and validate stages (#3048)

[ONNX Importer] Resolved problem with incorrect opset version set in subgraph (#2959)

[IE TESTS] Replaced size_t with int64_t (#2699)

* Replaced size_t with int64_t

* Fix gpu plugin

[CPU] fixed strides filling in blocking desc (#2353)

Update get started Linux instructions (#3016)

* Updating broken link on getting started linux doc

Link to build instructions was broken, updated link to the correct location.

* Update get-started-linux.md

* Update get-started-linux.md

* Update get-started-linux.md

* Update get-started-linux.md

Fixed broken links and updated commands

[CPU] Fixed Eltwise node endless loop in case nthreads = 1 (#3008)

Revise Broadcast reference implementation (#2715)

* change tile reference implementation

* remove tile tests from interpreter manifest

* add repeats parameter to tile

* improve tile reference implementation

* add repeats parameter to tile reference call in tile evaluate method

* style apply

* include <numeric>

* add unnamed namespace to helper functions. Change stdio.h to cstdio. Change input_rank to be constant int

* add const reference to parameter repeats in tile reference function

* change createPitches function to use partial_sum instead of accumulate

* change a little bit createPitches function

* style-apply

* fix function naming

* style-apply

* fix calling functions name bug

* Add description of create_pitches function

* first version with debug logs

* reduce footprint

* single layer tests

* added more tests

* fixed handling bool type

* styles applied

* fix tile

* [ONLY DEBUG] print error scenario message

* fixed problem with e2e tests

* fixed casting of start_axis for numpy mode

Co-authored-by: pszmel <piotr.szmelczynski@intel.com>

[ONNX] Return NMS-5 generation (#3003)

* [ONNX] Return NMS-5 generation

* Disable failed models

Updated MO requirements for numpy (#3034)

Apply rest of the comments for NMS-5 review (#3037)

* Commit.

* Moved the preprocessing functions for NMS-5 to Interpreter backend.

* Code style fix.

Removed legacy dependency in template_extensions (#3026)

[Jenkinsfile] Get rid of dldtPipelineEntrypoint (#3012)

* [Jenkinsfile] Get rid of dldtPipelineEntrypoint

* [Jenkinsfile] Add library_version parameter

Co-authored-by: akladiev <akladiev@nncv-akladieva.inn.intel.com>

[GNA] Add support for SubstituteSoftSign for pattern with addition (#2789)

* [GNA] add changes for SubstituteSoftSign for IRv10

* cpplint fix

* [GNA] add requested changes & change SoftSign test validation

* [GNA] SubstituteSoftsign refactor

* [GNA] enable 3d input tests for softsign

fix for hetero example (https://jira.devtools.intel.com/browse/CVS-33836) NB: the FPGA (even though deprecated) continues to be the only viable example foir the HETERO plugin, so leaving that (#2982)

Fix versions (#3027)

Have some concerns on numpy version, probably should be revisited further

[CPU] Refactored pushInput (#2910)

Remove legacy files (licenses and some scripts) (#2952)

* Remove legacy files (licenses and some scripts)

* Removed LISENSE and install rules for licenses

Extend MO for the operation NonMaxSuppression-5 (#2356)

* Commit.

* Written draft of NonMaxSuppression-5 class.

* Written conversion of the value of the second output  of MO NonMaxSuppression-5 into TF format.

* Fixed type infer for the port 1 of NonMaxSuppression-5.

* Added Reshape to [1] for 0D inputs of NMS-5.

* Small fix.

* Corrected assert for number of inputs.

* Fixed docstrings for transformations TFNonMaxSuppressionNormalize and NonMaxSuppressionNormalize.

* Now the transformation TFNonMaxSuppressionNormalize uses find_and_replace_pattern().

* Moved model-optimizer/extensions/front/onnx/non_max_suppression_normalize.py to model-optimizer/extensions/front/non_max_suppression_normalize.py, to delete duplicate code.

* Deleted commented code.

* Fixed BOM-file.

* Deleted out_ports_count from NMS.

* Fixes in type_infer of NMS-5.

* Small changes.

* Added some comment.

* Small fix.

* Some fixes.

Enable NonMaxSuppression-5 operation and various transformations  (#2450)

* Some code style fixes.

* Started to write the method v5::NonMaxSuppression::evaluate().

* Started to write nGraph reference implementation of NMS-5.

* Some additions.

* Written preprocessing of boxes data.

* Started to write the function non_max_suppression() that calculates NonMaxSuppression-5 operation.

* Written postprocessing of the evaluate().

* Small fixes.

* Small fix.

* Added include for ngraph/shape.hpp.

* Written the function intersectionOverUnion.

* Some additions.

* Small fix.

* Continued to write the function non_max_suppression().

* Small fixes.

* Small fixes.

* Some changes.

* Some additions.

* Some replacements size_t by int64_t.

* Added casts to float in the construction of selected_score variable.

* Code style fixes.

* Written draft of NMS-5 nGraph reference implementation.

* Code style fixes.

* Started to write tests for void op::v5::NonMaxSuppression::validate_and_infer_types().

* Added tests for scalars/nonscalars.

* Fixes in the test type_prop.nms_v5_output_shape.

* Fixes in tests nms_v5_output_shape_2 and nms_v5_output_shape.

* Written tests for validate_and_infer_types() of NMS-5.

* Code style fixes.

* Now NMS-5 evaluate() can have outputs with calculated shapes.

* Small fixes.

* Corrected tests for NMS-5 validate_and_infer_type().

* Code style fixes.

* Started to write inner version of NMS-5 with static output shapes.

* Written draft of the inner operation NonMaxSuppressionIE3.

* Started to write conversion of op::v5::NonMaxSuppression into NonMaxSuppressionIE3.

* Small changes.

* Some additions.

* Small fixes.

* Fixed typo.

* Fixed typos.

* Written draft of the transformation ConvertNMS5ToLegacyMatcher that converts ngraph::opset5::NonMaxSuppression into op::NonMaxSuppressionIE3.

* Written header file for the transformations from NMS-1, NMS-3, NMS-4 to NMS-5.

* Started to write conversion of NMS-4 to NMS-5.

* Added include for ngraph/opsets/opset4.hpp.

* Started to write conversion of NMS-3 to NMS-5.

* Small fixes.

* Written draft of the conversion of NMS-3 into NMS-5.

* Fixed typo.

* Started to write conversion of NMS-1 to NMS-5.

* Written draft of the conversion NMS-1 to NMS-5.

* Started to write tests for the conversion nGraph NMS-5 to inner NMS.

* Started to write the test ConvertNMS5ToNMSIEStatic.

* Written tests for conversion of nGraph NMS-5 to inner NMSIE3.

* Started to write tests for conversion of previous NMS to nGraph NMS-5.

* Written tests for conversion of old nGraph NMS to NMS-5.

* Started to write tests for opset5::NonMaxSuppression::evaluate().

* Some additions.

* Small fix.

* Written tests for op::v5::NonMaxSuppression::evaluate().

* Used NGRAPH_RTTI_DECLARATION for NonMaxSuppressionIE3.

* Used NGRAPH_RTTI_DECLARATION for NMS-5.

* All static local constants and functions for NMS-5 were moved into non-named namespace.

* Some code style fixes.

* Moved some file.

* Small fix.

* Code style fix.

* Now NMS-5 supports all floating types in inputs 0 and 1.

* Moved some files.

* Fixed include directive in the file convert_nms_5_to_legacy.cpp with transformations NMS-1, 3, 4 -> NMS-5.

* Small changes.

* Deleted conversion NMS-3 -> legacy.

* Small changes.

* Fix in op::v5::NonMaxSuppression::evaluate: output shape [1] instead of [] in the output port 2.

* Code style fixes.

* Deleted conversion of NMS-4 into legacy NMS.

* Deleted redundant ifs.

* Added NMS-5 to Python API.

* Code style fix.

* Small change.

* Fixed element type for constants in the conversion of NMS-5 to NMSIE3.

* Deleted support of f64 in NMS-5.

* Added checks for input element types for inputs #0, #1, #3, #4, #5.

* Small change.

* Now get_floats throws an exception for unsupported types.

* Now nGraph NMS-5 supports 0D and 1D tensors in inputs #2, #3, #4, #5.

* Small fix in test_non_max_suppression.

* Deleted using namespace std

* Fixes in test_non_max_suppression().

* Small fixes.

* Added 'import PartialShape' in test_reduction.py.

* Deleted creating fake inputs in the ctor of op::v5::NonMaxSuppression.

* Deleted creating fake inputs in op::v5::NonMaxSuppression::clone_with_new_inputs.

* Corrections in int64_t op::v5::NonMaxSuppression::max_boxes_output_from_input() const.

* Corrected functions float op::v5::NonMaxSuppression::soft_nms_sigma_from_input() const, float op::v5::NonMaxSuppression::score_threshold_from_input() const,  float op::v5::NonMaxSuppression::iou_threshold_from_input() const.

* Small fixes.

* Deleted commented code.

* Fixes in nms_v5_scalar_inputs_check.

* Some changes.

* Small fixes.

* Code style fixes.

* Small changes.

* Small changes.

* Small fix.

* Deleted commented code.

* Some refactoring in ConvertNMS4ToNMS5 ctor.

* Small fix.

* Common part of conversions NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 was moved into the separate function.

* Now conversions NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 support both 2 inputs, and 5 inputs.

* Now transformations NMS-1 -> NMS-5, NMS-3 -> NMS-5, NMS-4 -> NMS-5 are called from 'umbrella' transformation.

* Now the transformation ConvertNMS5ToLegacyMatcher supports NMS-5 with 2, 3, 4, 5, or 6 inputs.

* The transformation ConvertNMS5ToLegacyMatcher was rewritten using Reshape instead of Unsqueeze.

* Started to rewrite tests for the transformation ConvertNMS5ToLegacyMatcher.

* Some fixes.

* Small fixes.

* Corrected tests for the transformation NMS-5 -> NMSIE3.

* Small formatting fix.

* Now methods max_boxes_output_from_input(), iou_threshold_from_input(), score_threshold_from_input(), soft_nms_sigma_from_input() of op::v5::NunMaxSuppression are public.

* Started to move op::v5::NonMaxSuppression::evaluate() into ngraph/test/runtime/interpreter.

* Added NMS-5 to ngraph/test/runtime/interpreter/int_executable.

* Small fixes.

* Code style fixes.

* Written draft test nonmaxsuppression_center_point_box_format_backend in ngraph/test/backend.

* Small fix.

* Written draft tests of NonMaxSuppression in ngraph/test/runtime.

* Some changes.

* Small changes.

* Disabled IE_CPU tests for NMS-5.

* Deleted op_eval tests for NMS-5.

* Deleted evaluate() method of NMS-5.

* Now all nGraph functions in tests of the transformation NMS-5 -> NMSIE3 have one output.

* Now preprocessing and postprocessing of the calculation of NMS-5 in reference implementation.

* Code style fixes.

* Some fixes in tests for the transformation NMS-5 -> NMSIE3.

* Replaced precision i64 -> i32 for some constants in tests for the transformation NMS-5 -> NMSIE3.

* Written creating CNNLayer for NMS-5.

* Added creating CNNLayer for NonMaxSuppressionIE3.

* some changes.

* Now conversions NMS-1, NMS-3, NMS-4 -> NMS-5  and NMS-5 -> NMSIE3 generate NMS nodes with 5 inputs.

* Fixed ctor in MKLDNN NonMaxSuppressionImpl: validation of number of output edges.

* Added conversion of output_type for NMS-5.

* Fixes in the transformation NMS5 -> NMSIE3.

* Fixes in the conversion of NMS-5 to NMSIE3.

* Fixes in MKLDNN NMS ctor.

* Small fix.

* Fixed tests for the transformation NMS5 -> NMSIE3.

* Fixed tests for conversions NMS-1, NMS-3, NMS-4 -> NMS-5.

* Small fixes in MKLDNN NMS ctor.

* Rewritten create_layer() functions for NMS-5 and NMSIE3 as addSpecificCreator() functions.

* Disabled tests for IE IR reader for NMS-4.

* Deleted debug code.

* Added comment about disabling tests IE_CPU.nonmaxsuppression.

* Written IE IR Reader test for NMS-4.

* Deleted function float_from_constant_node.

* Small fixes.

* Deleted functions function_from_model and construct_weights.

* Small fix.

* Replaced push_back with emplace_back in the conversion of NMS-5 to legacy.

* Small changes.

* Some fixes.

* Refactored reference implementation of NMS-5.

* Moved structure NMSAttributes to unnamed namespace.

* Code style fixes.

* Small fix.

Fix the NHWC->NCHW transformation for dynamic weights (#2848)

* Fix the NHWC->NCHW transformation when weights and data comes from same input

* Simplify code

MatMul spec update (#2765)

Aligned specification with nGraph MatMul shape inference operation. Affects description of the behavior for 1D tensors.

[LPT] integration branch: Reshape fix, Concat generalization, runtime info usage extending (#2930)

* [LPT] Concat transformation generalization

* [LPT] Reshape transformation fix

* [LPT] Legacy callback fix

* [LPT] * added rt_info propagation
      * functional tests: added rt_info
      * functional tests: added MoveDequatnizationAfter tests

Co-authored-by: Vladislav Golubev <vladislav.golubev@intel.com>

Low Latency transformation (#2869)

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* added 1 more ctor

* style fixes

* used new api in ir parser

* fixed build

* update low latency transformation, fix unroll transformation, add unit tests, modify subgraph tests

* fix low latency transformation

* Update low latency transformation, unit and sub-graph tests

* update LowLatency transformation and tests

* ngraph codestyle

* fix build, update description

* resolve review remarks

Co-authored-by: Svetlana Dolinina <svetlana.a.dolinina@intel.com>

[OpenCL] movi-cltools-20.09.2 (#2912)

[CPU] Added LogSoftmax-5 support (#2743)

Remove deprecated v0::TopK (#2947)

* Remove deprecated v0::TopK

* Remove using SortType and using Mode from TopK

* apply code format

* Revert "Remove using SortType and using Mode from TopK"

This reverts commit ee2f99ea89583f0cc5c34fe633dfbe900f4d1741.