Reduced usage of batch in python samples (#3104)

* Reduced usage of batch in python sampes

Excluded from hello_classification and object_detection samples

[IE TESTS] Move main.cpp to shared lib from plugin functional tests (#3157)

[IE TESTS][IE CPU] Add smoke prefix for broadcast SLT (#3158)

[IE TESTS] Added test for NMS (#2830)

[CPU] added MergePermuteAndReorder optimization + added test (#2519)

Protect reading external weights from up-dir (#3098)

* introduced path sanitizing

* added tests, folders structure clean-up

* fixed test

* fixed up-dir path handling

* improved sanitizing for windows

* fix Windows test

* move sanitize impl

LSTM/GRU/RNN Sequences : support for seq_lengths input (#2788)

* sequences to ti transformations, support for seq_lengths input, update reference implemetations, add new tests

* fix python api, update sequences to ti transformation

* fix sequences to ti transformation

* Update sequences to TI transformation: fix reverse sequence support

* update single layer tests, fix TI reference impl, fix Sequences to TI transformations

* ngraph code style

* fix build

* fix ngraph python api

* resolver review comments, refactoring

* Resolve review remarks

* delete xfail

Specification to ONNX external data feature (#2939)

* Added external weights files doc

* review remarks

* review remarks

* review remarks

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* review remarks. part 2

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* fixed info about nullptr

* Apply suggestions from code review

Co-authored-by: Anastasiya Ageeva <anastasiya.ageeva@intel.com>
* review remarks. part 2

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
Co-authored-by: Anastasiya Ageeva <anastasiya.ageeva@intel.com>

Use std::transform instead of vector constructor (#3151)

[IE TESTS] Remove extra dependency from Shared lib (#3006)

* [IE TESTS][IE CMAKE] Add cmake option for configuration to skip tests

* [IE TESTS] Remove extra dependency from IE tests shared lib

* Revert to add flag

Corrected "-i" argument description (#3142)

* Corrected "-i" argument description

According to their usage in samples

[IE CLDNN] Add asymmetric quantization support to fsv16 imad 1x1 convolution kernel (#2941)

Fix for Reduce extractors and normalizer (#3136)

* Fixed extractor for ONNX ReduceXXX operations and fixed ReduceAxisNormalizer transformation

* Unit test for ReduceAxisNormalizer transformation

[IE][VPU]: ExpGenerateProposals: added temporary buffer allocation (#3093)

ExpGenerateProposals: temporary buffer allocation moved from firmware to blob
* Added tmpBuffer
* Changed the amount of allocated memory
* firmware update

Co-authored-by: Ivan Poliksenov <ivan.poliksenov@intel.com>

[IE][VPU]: NMS - fix memory allocation bug (#3133)

Update tolerance values for ONNX model tests (#3131)

small refactor samples setBatchSize (#3053)

* small refactor samples setBatchSize

Extend test coverage for ONNX Resize Operator (#3086)

Add ceil_mode for Max and Avg pooling (#2965)

Bump wheel from 0.34.2 to 0.35.1 in /ngraph/python (#3120)

[CPU] Broadcast check has been added to the ConvertPowerToPowerIEMatcher transformation. (#3132)

* [CPU] Added broadcast check to the ConvertPowerToPowerIE transformation.

* [CPU] Eltwise single layer test instance extended with a two inputs case.

Fixed negative paddings for convolution backprop data (#3117)

* Fixed negative paddings for convolution backprop data

* Fixed code style

* Fixed comments

add tests for 5 ops based on model zoo (#3062)

* add tests for 5 ops based on model zoo

* remove unnecessary layers from the test

* add test case with merge_repeated=0

* remove unnecessary layers and add new test casae with do_softmax=0

* remove unnecessary layers from the test

Revert "Erase from unwaited requests container on QoS abort (#3125)" (#3148)

This reverts commit d7e98f605d157ebf3dd986b4336a9b0a76da7f80.

Erase from unwaited requests container on QoS abort (#3125)

Enablement of GatherND tests (nG & ONNX) (#3013)

Fixed klockwork (#3119)

Alignment model and input (#3115)

[BugFix] Fix compilation error caused by typo in #3109 (#3135)

Improve reshapeability of models with eltwise nodes influencing shapes (#2767)

* Fix ElementwiseInputReshape transformation

Reshape node always needs to be inserted
in order to preserve ShapeOf nodes (reshapability of a model) that can potentially be above
elementwise node.

Refactor EltwiseInputReshape_test and EltwiseInputNormalization_test since the logic of maintaining reshape for eltwise has been changed.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Merge EltwiseInputNormalization and EltwiseInputReshape transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove Unsqueeze from Fused_op

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after code review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code review #4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Perform full normalization based on shapes of all inputs to eltwise

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Refactor much to avoid old API and edges with unsqueeze_dims attribute

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE][VPU][XLink]: XLink semaphore wrappers impl (#3079)

XLink wrappers for POSIX semaphore functions (refer sem_overview for details). In the description of standard sem_destroy the following is noted:
"Destroying a semaphore that other processes or threads are currently blocked on (in sem_wait(3)) produces undefined behavior."
XLink wrappers use thread-safe reference count and destroy the semaphore only in case if there are no waiters.

* XLink semaphore wrapper impl
* Extend XLink win_synchapi

Propogate DEVICE_ID for functions working with RemoteContext (#3109)

* Propogate DEVICE_ID for functions working with RemoteContext

* More fixes for RemoteContext

* Fixed tests compilation with VariableState

[GNA] fix 4d batch size eltwise issue (#3127)

Enable segfaulting getAvailableDevices, ExecGraphSerializationTest.ExecutionGraph_CPU after segfaults are fixed (#3124)

[GNA] 4D concat align pass (#2970)

* [GNA] Fix RemovePermutationsNHWCToNCHWPass in cases that permute input has many outData

* style

* [GNA] linux test fail fix

[CPU] fix NMS-5 CentOS7 error (#3083)

ONNX LSTM fix get_shape error (#3033)

* ONNX LSTM get dimension only if required

* Test dynamic onnx lstm model import

* Enable LSTM_Seq_lens_unpacked_model import test

* Disable model zoo execution test "MSFT_opset9_LSTM_Seq_lens_unpacked"

* Add missed comma in xfail list

* Update error messages

* init xfail issue

* test zoo models import xfail issue

* Fix SEQ_LENGTH init

* Comments update

* Fix usage of v0::Add by overloaded operator

[IE CLDNN] Fixed pad value used for input coords calculation in fsv16 imad conv (#3081)

nGraph: fix TopK output shape inference (#2967)

* nGraph: Fix TopK output shape inference

* nGraph: Correct TopK output shape inference

TopK lower bound of output shape at the axis was mistakenly calculated
basing on max_lenght instead of min_lenght.

* nGraph: Correct TopK output shape inference

* nGraph: Correct TopK type prop test

The topk_negative_axis_support type properties test was comparing
incompatible variables carrying the same value. So it was passing ok.

* nGraph: Add TopK type prop test

* nGraph: Fix code style

* nGraph: Follow review guidelines

Improve variables meaning.
Enforce rigid test pass condition.

* nGraph: Remove magic numbers

Create u-tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS) (#3102)

* Create tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS)

* Suppress deprecated definition errors

* Fix warning

Revert "Reshape-able SliceConverter (#2954)" (#3118)

This reverts commit b437387bd536532467b9b29d25a082bf0fdc33d1.

Enable CPU and Interpreter Loop tests (#3042)

[nGraph] MatMul - Remove fused op and align output shape inference (#2866)

To follow MatMul spec update for 1D tensors this PR removes FusedOp decomposition for MatMul without changing current MatMul output shape inference logic (numpy/onnx aligned).
Based on previous PR #2212 that follows rather current spec logic.

Improve ConvertBroadcast3 pass to avoid extra Multiply operations for BIDIRECTIONAL mode (#3113)

* Fixed ConvertBroadcast3 pass for BIDIRECTIONAL mode to avoid excess Multiply operations

* Added funcitonal tests for new decompositions

* Return false if mode is unknown; avoid usign node in replace_node

* Added functional tests for cases when TargetShape input is not a Constant

[OpenVino ONNX CI watchdog] Small improvements (#3096)

* Small improvements

* Enlarge pending status

[IE CLDNN] Fix for fusing Activation into Eltwise primitive in fused_conv_eltwise primitive case usgae (#2997)

Add Dependabot configuration (#3029)

* Add Dependabot configuration

* Update config to Dependabot native

Hetero KW warning fix (#3107)

[LPT] POT support: absent convert fix & element-wise empty dequantization data (#3067)

[IE CLDNN] Cleanup cldnn source tree and README (#3043)

[IE CLDNN] Fixed fmt traits map (#3088)

[VPU][NGraph] Extend TopK K propagation (#2943)

* [VPU][NGraph] Support ShapeOf and Gather in TopK K propagation

* [VPU] Save calculated K value

* [VPU][Tests] Introduces tests

* [Tests] Review fixes

Disable test ExecGraphSerializationTest.ExecutionGraph_CPU (#3097)

* Disable test ExecGraphSerializationTest.ExecutionGraph_CPU as temporary measure to avoid segfault

* Disable segfaulting getAvailableDevices

install_NEO_OCL_driver: Added user to render group. (#3099)

[IE][VPU]: GatherND DTS transformation (#3025)

* Implement GatherND DTS
* Introduce tests on DTS
* Introduce tests on DSR+GatherND

[GNA] Added tests for negative memory layer offset and split - trivial permute - concat scenario (#2989)

add getting nms_threshold / iou_threshold from RetinaNet (#3075)

* added getting nms_threshold/iou_threshold from original TF RetinaNet model

* iou_threshold definition added

* fixed getting iou_threshold for TF NMS V2, some minor corrections

* added box_encoding to NMS extractors

Removed const_cast from addOutput method (#3091)

[CPU] Converted Pad Layer to MKLDNNNode and added more optimized implementations (#2586)

Pad-1: fixed ngraph reference for symmetric mode and added cpu tests

ITT performance counters for first inference (#1741)

* ITT performance counters for first inference

ITT counters for nGraph passes

* RTTI for trnasformation passes

* The MKLDNN plugin first inference counters improvements

[IE][VPU][TESTS]: support different modes for Interpolate (#2963)

Fixed KW for Windows (#3089)

* Fixed KW for Windows

* Fixed code style

* Fixed compilation

Move QueryState from ExecutableNetwork to InferRequest (#2818)

* QueryState moved to InferRequest

* deprecate ExecutableNetwork::QueryState,chaged tests (without any check yet)

* fix build

* review fixes + build fix

* build fix + review changes

* remove blank line

* style fixes

* test build fixes

* style fix

* style fix

* fixed build of tests

* fix

* mac build fix

* hddl plugin build fix

* clean up unneeded implementation for method

* fixed tests build

* add implementation for getstate, correct getName for MklDNN

* fixed description of state API in comments

* lint fixes

* Rename MemoryState to VariableState

* added tests for cpu for VariableStates, several small fixes in tests and code

* merge fix

* lint fix

* remove whitespaces

* spaces fix

* fix in test to make it workable for all plugins

* fix typo

* fix test for gna

* remove extra comment

* fix test for gna

Summary report generator for layer and subgraph tests (#2707)

* Initial summary dumper implementation

* Handle Tensoriterator body + add parser script

* Add support of XML reports merging + report OP names with versions

* Remove debug device name change

* Fix windows building issue

* Add --disable_test_skips command line option

* Gtest failure with logging

* Change skipping logic and resolve linkage errors caused by extern

* Get graph body from Loop

* Fix disable_tests_skipping symbol redefinition

* Fix inline for currentTestIsDisabled

* Rollback get_body for Loop

* Handle cases with skip in test SetUp

* Report Loop and TI ops along with ops in subgraph body

* Resolve some PR comments

* Dummy commit to kick pre-commit validation

Co-authored-by: Efode, Irina <irina.efode@intel.com>

Fixed transformations looking for FusedBatchNorm operation to look for FBNV2 and FBNV3 also (#3078)

* Fixed transformations looking for FusedBatchNorm operation to consider FusedBatchNormV2 and FusedBatchNormV3 also.

* Updated unit test for FusedBatchNormTraining

* Fixed unit test

[IE][VPU]: Implement VPU Ngraph EIP->ReorgYolo transformation (#3066)

* We need to convert ExtractImagePatches op to ReorgYolo to restore the working capacity of myriad plugin while compiling Yolo-v2 models.
* It was previously removed in #2687

Don't build extra module if it doesn't have cmake files (#3074)

[LPT] Dequantization constant output precision handling extending (#2987)

* [LPT] moveDequantizationAfter fix

* [LPT] ConcatTransformation fix: only intermediate operations are handled

[IE][VPU]: Optimize swish layer and remove swish replacement pass (#2993)

* Swish layer optimization
* Update VPU firmware 1468

retinanet onnx model has Upsample error (#3052)

* Commit.

* Fixed infer function of ONNXResize11 operation.

* Small fixes.

* Written unit tests for shape calculation for ONNXResize11.

Removal of obsolete constant folding passes (#2902)

* Redundant op::Max CF removal

* Redundant op::Min CF removal

* Redundant op::Sum & op::Product CF removal

* CF Min and Max using evaluate()

* Arithmetic reduction CF pass removal

* Quantize op CF pass removal

* Convert op CF pass removal

* Logical reduction CF pass removal

* Select op CF pass removal

* OneHot CF pass removal

* Code formatting

* ScatterElements CF pass removal

* Gather CF pass removal

* Disable a Quantize op test that fails in CI

* CF pass cleanup

* Convert op cleanup and test adaptation to spec

* Possible fix for failing VPU tests

* Limit the types used in OneHot::evaluate

* Quantize op evaluator removal

* Refactor of Gather evaluator

Fix spelling errors in samples and documentation (#2795)

* Fix spelling errors in samples

* Fix spelling errors in the documentation

[LPT] CNNNetwork LPT removal (#3035)

* [LPT] CNNNetwork LPT removal

* Fixes for LPT removal

Co-authored-by: Ilya Lavrenov <ilya.lavrenov@intel.com>

Fix GatherND to output dynamic rank tensor (#3073)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE][VPU][Tests]: Fix NMS DTS outputs naming + tests (#3040)

* Fix dynamic output case in interpreterFunction. For dynamic output cases, we can't call get_shape on the result because it's shape is dynamic, instead, we should take the real output shape from output HostTensor
* Fix outputs naming as it's done in other DTS transformation for operations with multiple outputs (Split, TopK, etc).

Ticket - #-42421

[IE CLDNN] Add asymmetric quantization support to reference convolution imad kernel (#2994)

Added support for a new version of the TF OD API pre-processing part (#3063)

* Added support for a new version of the TF OD API pre-processing part of the mode

* Get rid of legacy API usage

* Fix comment and added assert

* Wording

[IE CLDNN] Added LogSoftmax-5 operation (#2945)

Fix wrong statement in ConvertConvolutions transformation (#3056)

* Fixed wrong statement in ConvertConvolution transformation

* Added tests

* FIXME: 42956

[CPU] Proposal layer. Check img info input. (#2456)

[GNA] Added Multiplication 1x1x1 (#2470)

* [GNA] Broadcast power primitive

[GNA] Broadcast power primitive

[GNA] Added Multiplication 1x1x1

[GNA] Broadcast power primitive

Added secondary changes

* Added fix test

[IE][VPU]: support new operation CEILING (#3004)

Add new Operation "Ceiling" for VPU Myriad
task: -42885

Reshape-able SliceConverter (#2954)

* initial commit

* add cast

* data type fix

* added tests

* added test without axes and steps

* remove redundant imports

* discussions resolving

* Add cast to TFSliceToSlice

* layer tests fix

* update unittest

Provide GatherND with original layout for inputs and output (#3002)

* Provide GatherND with original layout for inputs and output

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[GNA] fixed case when input connected to concat from left and const from right (#2874)

* Added test

* Added fix

* Fix comment

* Fix conflict

[GNA] Added fix for export scores (#3009)

OneCore toolchain (#3044)

* Added OneCoreUap toolchain file

* Intentation

* Updated OneCore toolchain

* Fixed linkage error with static runtime

* Link reader_api library

* Enable static runtime for ONNX part

* Allow to override flags

* Added flag for clDNN; plus refactoring

* Fix Includes

* Added toolchain check

* Added apivalidator for MYRIAD plugin

* Added commented apivalidator for CLDNN plugin

Reference implementations for Loop and TensorIterator ops (#2978)

* Loop op ngraph implementation, update IE IR Reader and ngraph to cnn converter

* refactoring SubGraphOp class

* type prop unit tests

* ngraph code style

* update comment

* single layer tests for Loop operation

* fix file name

* Add SpecialBodyPorts attribute in Loop op, update single layer tests

* first debug version

* more tests

* missing test file

* removed not needed shapes from test data

* move test data to new folder

* shape infer tests

* Added execution tests

* add several new tests cases, strict checks in Loop impl, temporary disable single layer tests

* ngraph codestyle, refactoring, clone_new_args test

* resolve review remarks

* fix build

* fix tests

* more execution tests

* add a new constructor of Loop op, resolve review remarks

* execution tests

* synchro with current version

* handle scalars and more tests

* scalar test enabled

* loop reference impl

* bug fixes in tests, onnx importer part and in the ref implementation of the Loop op

* applied remarks

* handle unsupported cases

* rewrite unit tests

* update INTERPRETER manifest

* is_termination_condition_always_true simplification

* [TEST] update python models tests

* review remarks

* added xfail to tiny_yolov3

* missing model test

* revert test data

* fixed numbers of failing tests

* fixed failed test description

* fix test message

* fix xfail test

* reference implementation for ngraph::function

* update loop reference implementation

* Refactor loop reference implementation

* ngraph codestyle

* Refactoring

* Submodule update

* Skip check for Reduce ops in mkl for scalar cases, support for yolov3

* fix ngraph reader tests

* revert ceiling op, renaming

* Add allias(Ceiling) for Ceil op in mkl

* delete xfails

* fix build

* single layer tests for tensor iterarator

* Refactor TensorIterator and Loop ref impls

* revert dynamic tensor creation, disable some dynamic test cases

* fix warning

* Resolve review remarks

* revert Predefined values in Loop tests

Co-authored-by: Mateusz Bencer <mateusz.bencer@intel.com>

Add fix for multiple_activations test (#2984)

* Add fix for multiple_activations test

   - Add forbid activation fusing pass for GNA2 library
   - Fix get all prev layers fnct
   - To enable GNA_NoRegression.smoke_multiple_activations_onGNA_INT16

* Apply Bartek review

[IE][Myriad] Fixing global_lock_fd locking in mvnc (#3024)

Set friendly name in order to operate with it on visit attributes and validate stages (#3048)

[ONNX Importer] Resolved problem with incorrect opset version set in subgraph (#2959)

[IE TESTS] Replaced size_t with int64_t (#2699)

* Replaced size_t with int64_t

* Fix gpu plugin

[CPU] fixed strides filling in blocking desc (#2353)

Update get started Linux instructions (#3016)

* Updating broken link on getting started linux doc

Link to build instructions was broken, updated link to the correct location.

* Update get-started-linux.md

* Update get-started-linux.md

* Update get-started-linux.md

* Update get-started-linux.md

Fixed broken links and updated commands

[CPU] Fixed Eltwise node endless loop in case nthreads = 1 (#3008)

Revise Broadcast reference implementation (#2715)

* change tile reference implementation

* remove tile tests from interpreter manifest

* add repeats parameter to tile

* improve tile reference implementation

* add repeats parameter to tile reference call in tile evaluate method

* style apply

* include <numeric>

* add unnamed namespace to helper functions. Change stdio.h to cstdio. Change input_rank to be constant int

* add const reference to parameter repeats in tile reference function

* change createPitches function to use partial_sum instead of accumulate

* change a little bit createPitches function

* style-apply

* fix function naming

* style-apply

* fix calling functions name bug

* Add description of create_pitches function

* first version with debug logs

* reduce footprint

* single layer tests

* added more tests

* fixed handling bool type

* styles applied

* fix tile

* [ONLY DEBUG] print error scenario message

* fixed problem with e2e tests

* fixed casting of start_axis for numpy mode

Co-authored-by: pszmel <piotr.szmelczynski@intel.com>

[ONNX] Return NMS-5 generation (#3003)

* [ONNX] Return NMS-5 generation

* Disable failed models

Updated MO requirements for numpy (#3034)

Apply rest of the comments for NMS-5 review (#3037)

* Commit.

* Moved the preprocessing functions for NMS-5 to Interpreter backend.

* Code style fix.