Complete CTCGreedyDecoder implementation in nGraph and add tests (#3206)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Update tf2 yolov4 docs support (#3227)

Co-authored-by: Your Name <you@example.com>

[ MO TF ] TF FakeQuantize normalization fix (#3180)

Update install_openvino_dependencies.sh (#3196)

[LPT] Transpose, MatMul: Klocwork fixes (#3192)

Fix NMS1/3/4 to Legacy conversion (#3210)

* Fix NMS1/3/4 to Legacy conversion

* Added functoinal tests

[IE] - Interpolate ONNX workaround (#3203)

Co-authored-by: DariaMityagina <daria.mityagina@intel.com>

Backport of PR #3092 - TopK sorting fix (#3195)

Disable v10 serealizer (#3184)

* Disable v10 serealizer

* Fixed comments

Temporaly skip GRU Cell test (#3183)

Fix accuracy problem for YoloV3 (incorrect StridedSlice nop elimination) (#3179)

[IE][VPU]: Align buffer conditions with the device part (#3168)

[GNA] Security fixes for 2021.2 (#3167)

ONNX LSTM/GRU/RNN seqence_lens input tests with reverse and bidirectional mode (#3149)

Fix NMS5 dynamism issues (#3137)

* Fixed ConvertNMS5ToLegacy conversion pass to resolve dynamism as soon as possible; fixed output precision to avoid troubles during convert_precision pass

* Added NMS5ToLegacy conversion for cldnn plugin

* Fixed NMS3 copy method

* Updated NMS5ToLegacy pass to avoid convert precision issues

* Updated nGraph reader and Functional tests

* Removing odd CF call

* removed xfail for test that is expected to pass

* Fixed Convert operations friendly_name

* Removed NMS5ToLegacy from opset1_to_legacy conversion

* Update NMS5 layer tests

* Update NMS5 DSR tests

[LPT] implementation were moved from common dir (#3173)

[CPU] Normalize node. Broadcast weights from 1 to channels. (#3141)

Added SECURITY.md back (#3177)

[DOC] Update Docker install guide (#3055)

* [DOC] Update Docker install guide

* [DOC] Add proxy for Windows Docker install guide

* [DOC] move up prebuilt images section

* Update installing-openvino-linux.md

* Update installing-openvino-docker-linux.md

* Update installing-openvino-docker-linux.md

Formatting fixes

* Update installing-openvino-docker-linux.md

Fixed formatting issues

* Update installing-openvino-docker-windows.md

Minor fixes

* Update installing-openvino-docker-linux.md

Fixed formatting issues

* [DOC] update text with CPU image, remove proxy for win

* Update installing-openvino-docker-windows.md

Minor fixes

* Update installing-openvino-docker-windows.md

Minor fix

* Update installing-openvino-docker-windows.md

Minor fix

* Update installing-openvino-docker-windows.md

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

[IE][VPU]: Refactoring of SpecialStageProcessor (#2885)

* SpecialStageProcessor refactoring
* Fix for Yolo-v3-pytorch and related test

Fix graph clenup (#3159)

* Fix graph clenup

* Refactoring graph clean up function

* Change wa comment

Co-authored-by: Your Name <you@example.com>

Revert "Reduced usage of batch in python samples (#3104)" (#3171)

This reverts commit 23e653858bc5e543afe17dcfdb6ce89047e96788.

[IE CLDNN] program_impl::replace_all_usages causes invalid memory access. (#138)

added ubuntu 20.04 support to speech recognition demo (#3145)

updated speech recognition demo resources URLs to AWS

Print GNA Lib function name when error code obtained (#3129)

TI and Sequences related transformations: transition from cnn to ngraph versions (#2927)

* sequences to ti transformations, support for seq_lengths input, update reference implemetations, add new tests

* fix python api, update sequences to ti transformation

* transition from cnn to ngraph transformations for cpu, gpu, vpu plugins

* fix convert_ti_to_sequence transformation

* fix naming issue in unroll transformation

* test pure TensorIterator in vpu plugin

* fix sequences to ti transformation

* Update sequences to TI transformation: fix reverse sequence support

* update single layer tests, fix TI reference impl, fix Sequences to TI transformations

* ngraph code style

* fix build

* fix ngraph python api

* resolver review comments, refactoring

* revert vpu changes

* disable/fix tests

* refactoring

* Resolve review remarks

* optimization of LSTMSeq -> LSTMSeq IE: remove unnecessary Transpose ops

* Refactoring of transformation pipeline in cpu and gpu plugins, align GRU/RNN -> GRU/RNN IE with LSTM -> LSTM IE

* update TensorIterator tests, refactoring

* fix typo

* Fix unit tests, delete unnecessary callbacks

* Refactoring: delete commented code

* Add FullyConnected to skipConstInfer list for legacy ConstFolding

* disable legacy cnn unit tests

* delete xfail

* fix for backward compatibility with opset1::LSTMCell

* delete xfail

* fix build, remove Reshape layer from skipConstInfer list

[nGraph][ONNX] Rename xfails (#3061)

Extend information to submit to a DB in time_tests (#3018)

* Optimize imports in time_tests conftest.py

* Extend information to submit to a DB in time_tests:
1. Add `--manifest` and `--db_metadata` CLI keys
2. Add `prepare_db_info` fixture

* Move `validate_test_case` fixture to a const schema, remove extra checks

* Add `manifest_metadata` fixture to parse and validate manifest only once

* Add OS utils to submit os info to DB

Fix ApplyPermutations for the case when more then 1 input with permutes (#3095)

Removed documents which are ported to OpenVINO WiKi (#3106)

* Removed documents which are ported to OpenVINO WiKi

* More updates

* Removed getting started

* Ported more guides to OpenVINO Wiki

Connect some ngraph and IE cmake options (#3147)

[IE][TOOLS] Fix for CCT two IR mode (#3084)

[IE][VPU]: Fix condition in HW tiling (#3111)

Co-authored-by: kora6 <kora6@github.com>

[ngraph] Fix compare functions for functional tests (#3161)

[IE CLDNN] Fixed mem leak (#3153)

Fix compilation error in gna_wait_test (#3150)

error: converting to ‘std::vector<std::tuple<unsigned int, long int,......

Show help message when -i or -m is not set (#3144)

[CPU] Interpolate operation improvements (#2366)

* interpolate improvement

* JITTED cubic mode

* fix 'code is too big' when JIT

* extend test to cover tail code path

* transformation of interpolate1 to interpolate4

* add low precision transformation for interpolate4

Reduced usage of batch in python samples (#3104)

* Reduced usage of batch in python sampes

Excluded from hello_classification and object_detection samples

[IE TESTS] Move main.cpp to shared lib from plugin functional tests (#3157)

[IE TESTS][IE CPU] Add smoke prefix for broadcast SLT (#3158)

[IE TESTS] Added test for NMS (#2830)

[CPU] added MergePermuteAndReorder optimization + added test (#2519)

Protect reading external weights from up-dir (#3098)

* introduced path sanitizing

* added tests, folders structure clean-up

* fixed test

* fixed up-dir path handling

* improved sanitizing for windows

* fix Windows test

* move sanitize impl

LSTM/GRU/RNN Sequences : support for seq_lengths input (#2788)

* sequences to ti transformations, support for seq_lengths input, update reference implemetations, add new tests

* fix python api, update sequences to ti transformation

* fix sequences to ti transformation

* Update sequences to TI transformation: fix reverse sequence support

* update single layer tests, fix TI reference impl, fix Sequences to TI transformations

* ngraph code style

* fix build

* fix ngraph python api

* resolver review comments, refactoring

* Resolve review remarks

* delete xfail

Specification to ONNX external data feature (#2939)

* Added external weights files doc

* review remarks

* review remarks

* review remarks

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* review remarks. part 2

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* fixed info about nullptr

* Apply suggestions from code review

Co-authored-by: Anastasiya Ageeva <anastasiya.ageeva@intel.com>
* review remarks. part 2

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
Co-authored-by: Anastasiya Ageeva <anastasiya.ageeva@intel.com>

Use std::transform instead of vector constructor (#3151)

[IE TESTS] Remove extra dependency from Shared lib (#3006)

* [IE TESTS][IE CMAKE] Add cmake option for configuration to skip tests

* [IE TESTS] Remove extra dependency from IE tests shared lib

* Revert to add flag

Corrected "-i" argument description (#3142)

* Corrected "-i" argument description

According to their usage in samples

[IE CLDNN] Add asymmetric quantization support to fsv16 imad 1x1 convolution kernel (#2941)

Fix for Reduce extractors and normalizer (#3136)

* Fixed extractor for ONNX ReduceXXX operations and fixed ReduceAxisNormalizer transformation

* Unit test for ReduceAxisNormalizer transformation

[IE][VPU]: ExpGenerateProposals: added temporary buffer allocation (#3093)

ExpGenerateProposals: temporary buffer allocation moved from firmware to blob
* Added tmpBuffer
* Changed the amount of allocated memory
* firmware update

Co-authored-by: Ivan Poliksenov <ivan.poliksenov@intel.com>

[IE][VPU]: NMS - fix memory allocation bug (#3133)

Update tolerance values for ONNX model tests (#3131)

small refactor samples setBatchSize (#3053)

* small refactor samples setBatchSize

Extend test coverage for ONNX Resize Operator (#3086)

Add ceil_mode for Max and Avg pooling (#2965)

Bump wheel from 0.34.2 to 0.35.1 in /ngraph/python (#3120)

[CPU] Broadcast check has been added to the ConvertPowerToPowerIEMatcher transformation. (#3132)

* [CPU] Added broadcast check to the ConvertPowerToPowerIE transformation.

* [CPU] Eltwise single layer test instance extended with a two inputs case.

Fixed negative paddings for convolution backprop data (#3117)

* Fixed negative paddings for convolution backprop data

* Fixed code style

* Fixed comments

add tests for 5 ops based on model zoo (#3062)

* add tests for 5 ops based on model zoo

* remove unnecessary layers from the test

* add test case with merge_repeated=0

* remove unnecessary layers and add new test casae with do_softmax=0

* remove unnecessary layers from the test

Revert "Erase from unwaited requests container on QoS abort (#3125)" (#3148)

This reverts commit d7e98f605d157ebf3dd986b4336a9b0a76da7f80.

Erase from unwaited requests container on QoS abort (#3125)

Enablement of GatherND tests (nG & ONNX) (#3013)

Fixed klockwork (#3119)

Alignment model and input (#3115)

[BugFix] Fix compilation error caused by typo in #3109 (#3135)

Improve reshapeability of models with eltwise nodes influencing shapes (#2767)

* Fix ElementwiseInputReshape transformation

Reshape node always needs to be inserted
in order to preserve ShapeOf nodes (reshapability of a model) that can potentially be above
elementwise node.

Refactor EltwiseInputReshape_test and EltwiseInputNormalization_test since the logic of maintaining reshape for eltwise has been changed.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Merge EltwiseInputNormalization and EltwiseInputReshape transformations

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Remove Unsqueeze from Fused_op

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after code review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code review #4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Perform full normalization based on shapes of all inputs to eltwise

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Refactor much to avoid old API and edges with unsqueeze_dims attribute

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix code after review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE][VPU][XLink]: XLink semaphore wrappers impl (#3079)

XLink wrappers for POSIX semaphore functions (refer sem_overview for details). In the description of standard sem_destroy the following is noted:
"Destroying a semaphore that other processes or threads are currently blocked on (in sem_wait(3)) produces undefined behavior."
XLink wrappers use thread-safe reference count and destroy the semaphore only in case if there are no waiters.

* XLink semaphore wrapper impl
* Extend XLink win_synchapi

Propogate DEVICE_ID for functions working with RemoteContext (#3109)

* Propogate DEVICE_ID for functions working with RemoteContext

* More fixes for RemoteContext

* Fixed tests compilation with VariableState

[GNA] fix 4d batch size eltwise issue (#3127)

Enable segfaulting getAvailableDevices, ExecGraphSerializationTest.ExecutionGraph_CPU after segfaults are fixed (#3124)

[GNA] 4D concat align pass (#2970)

* [GNA] Fix RemovePermutationsNHWCToNCHWPass in cases that permute input has many outData

* style

* [GNA] linux test fail fix

[CPU] fix NMS-5 CentOS7 error (#3083)

ONNX LSTM fix get_shape error (#3033)

* ONNX LSTM get dimension only if required

* Test dynamic onnx lstm model import

* Enable LSTM_Seq_lens_unpacked_model import test

* Disable model zoo execution test "MSFT_opset9_LSTM_Seq_lens_unpacked"

* Add missed comma in xfail list

* Update error messages

* init xfail issue

* test zoo models import xfail issue

* Fix SEQ_LENGTH init

* Comments update

* Fix usage of v0::Add by overloaded operator

[IE CLDNN] Fixed pad value used for input coords calculation in fsv16 imad conv (#3081)

nGraph: fix TopK output shape inference (#2967)

* nGraph: Fix TopK output shape inference

* nGraph: Correct TopK output shape inference

TopK lower bound of output shape at the axis was mistakenly calculated
basing on max_lenght instead of min_lenght.

* nGraph: Correct TopK output shape inference

* nGraph: Correct TopK type prop test

The topk_negative_axis_support type properties test was comparing
incompatible variables carrying the same value. So it was passing ok.

* nGraph: Add TopK type prop test

* nGraph: Fix code style

* nGraph: Follow review guidelines

Improve variables meaning.
Enforce rigid test pass condition.

* nGraph: Remove magic numbers

Create u-tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS) (#3102)

* Create tests for RESULT_NOT_READY and INFER_NOT_STARTED (GNA QoS)

* Suppress deprecated definition errors

* Fix warning

Revert "Reshape-able SliceConverter (#2954)" (#3118)

This reverts commit b437387bd536532467b9b29d25a082bf0fdc33d1.

Enable CPU and Interpreter Loop tests (#3042)

[nGraph] MatMul - Remove fused op and align output shape inference (#2866)

To follow MatMul spec update for 1D tensors this PR removes FusedOp decomposition for MatMul without changing current MatMul output shape inference logic (numpy/onnx aligned).
Based on previous PR #2212 that follows rather current spec logic.

Improve ConvertBroadcast3 pass to avoid extra Multiply operations for BIDIRECTIONAL mode (#3113)

* Fixed ConvertBroadcast3 pass for BIDIRECTIONAL mode to avoid excess Multiply operations

* Added funcitonal tests for new decompositions

* Return false if mode is unknown; avoid usign node in replace_node

* Added functional tests for cases when TargetShape input is not a Constant

[OpenVino ONNX CI watchdog] Small improvements (#3096)

* Small improvements

* Enlarge pending status

[IE CLDNN] Fix for fusing Activation into Eltwise primitive in fused_conv_eltwise primitive case usgae (#2997)

Add Dependabot configuration (#3029)

* Add Dependabot configuration

* Update config to Dependabot native

Hetero KW warning fix (#3107)

[LPT] POT support: absent convert fix & element-wise empty dequantization data (#3067)

[IE CLDNN] Cleanup cldnn source tree and README (#3043)

[IE CLDNN] Fixed fmt traits map (#3088)

[VPU][NGraph] Extend TopK K propagation (#2943)

* [VPU][NGraph] Support ShapeOf and Gather in TopK K propagation

* [VPU] Save calculated K value

* [VPU][Tests] Introduces tests

* [Tests] Review fixes

Disable test ExecGraphSerializationTest.ExecutionGraph_CPU (#3097)

* Disable test ExecGraphSerializationTest.ExecutionGraph_CPU as temporary measure to avoid segfault

* Disable segfaulting getAvailableDevices

install_NEO_OCL_driver: Added user to render group. (#3099)

[IE][VPU]: GatherND DTS transformation (#3025)

* Implement GatherND DTS
* Introduce tests on DTS
* Introduce tests on DSR+GatherND

[GNA] Added tests for negative memory layer offset and split - trivial permute - concat scenario (#2989)

add getting nms_threshold / iou_threshold from RetinaNet (#3075)

* added getting nms_threshold/iou_threshold from original TF RetinaNet model

* iou_threshold definition added

* fixed getting iou_threshold for TF NMS V2, some minor corrections

* added box_encoding to NMS extractors

Removed const_cast from addOutput method (#3091)

[CPU] Converted Pad Layer to MKLDNNNode and added more optimized implementations (#2586)

Pad-1: fixed ngraph reference for symmetric mode and added cpu tests

ITT performance counters for first inference (#1741)

* ITT performance counters for first inference

ITT counters for nGraph passes

* RTTI for trnasformation passes

* The MKLDNN plugin first inference counters improvements

[IE][VPU][TESTS]: support different modes for Interpolate (#2963)

Fixed KW for Windows (#3089)

* Fixed KW for Windows

* Fixed code style

* Fixed compilation