Constant->Result networks (#2639)

* Added tests

* Changed iterator algorithm

* Fixed legacy tests

* Added plugin tests

* Disabled some tests

* Remover parameter tests

* Fixed conversion

* Use old approach for old tests

* Temp commit

* Fixed iterator

* Fixed some tests

* Change logic to compare iterators

* Disabled CPU functional test

* Temp commit

* Disabled test for GPU

* Fixed network copy

* Try to fix test for Windows

* Disabled test for GNA

* Disable plugin tests

* Disable legacy test

* Remove redundant code

Added new version of BatchNormInference (#2728)

* Added new version of BatchNormInference

* Fixed code style

* Fixed batch norm inference v5

* Added opset4 and opset5 to IE backend

* Fixed functional test

* Fixed cpuFunc tests

* Fixed transformation order

* Try to fix validation

* Revert some changes

* Updated python API and added tests

* Fixed code style

* Fixed python code style

* Disabled test

[IE CLDNN] Extend supported fusing cases for scale and eltwise (#1960)

Use MVN in GroupNorm/InstanceNorm in ONNX importer (#2711)

* Use MVN in GroupNorm/InstanceNorm in ONNX importer

* Remove mosaic_8 model from xfail list

[IE CLDNN] Another try to fix multiple-kernel implementations profiling (#2630)

Use LogSoftmax-5 in the onnx_importer (#2602)

Supported threading command line options for other devices (#2725)

* Supported thrieding command line options for ohter devices

* Fixed python benchmark

[NGRAPH] Fix UNITY build (#2732)

Add Round-5 operation (#2328)

* Add Round-5 operation

* Add ONNX Round to supported operation list

* Add ngraph implementation for Round operation

* Update MO part

* Create UnaryElementwise class, update Round Operation

* Fix mode attr in mxnet extractor

* Add tests for Round shape infer

* Update 'enable' attr

* Update MO IR Reader to support UnaryElementwise operations

* Minor test refactor

* Update ngraph Round operation

* Add reference implementation

* Add test for reference implementation

* Add test for shape infer

* Add test for IE IR Reader

* AddRound operation to python api

* Fix missed mode attr

* Update Round operation version

* Fix codestyle

* Add MxNet Round to supported layers list

* Fix error in reference

* Fix comments style

* Update CMake file

* Update Ngraph reference test

* Update IE IR Reader tests

* Return v0::Round operation

* Update shape infer tests

* Fix v0::Round reference

* Fix codestyle

* Enum instead of string

* Fix codestyle

* Add Mode attribute adapter

* Update Mode attr

* Fix reference for v0::Round

* Fix codestyle

* Fix mode attr

* Fix get() method

* Fix codestyle in python api

* Update test info

* Fix ngraph api part

* Ad round v5 to interpreter tests

* Fix codestyle is ie reader test

* Update ngraph python api __init__.py file

* Adde opser5 to dafault opsets in ie_ir reader

* Add parser for Round layer

* Remove redundant spaces

* Add round creator to appropriate list

* Remove redundant import

* Commit to bump infrastructure version

I'm sorry for this, but this commit will be squashed on merge to master anyway and it is needed for your PR to correctly pass the pipeline

* Fix import

* fix codestyle

* Fix ngraph api part

* Add shape infer tests in python api

* Add .upper() for mode attr

* Refactor MO shape infer test for Round op

* Update tests and add comments

* Revert "Commit to bump infrastructure version"

This reverts commit 56e6ae1e4c31439ba0d4636fa76782c03bf30aca.

* remove parser for Round layer

* Update Ronund-5 evaluate test

* Resolve review comments

Co-authored-by: User <user@nnlvdp-achetver.inn.intel.com>
Co-authored-by: Andrey Babushkin <andrey.babushkin@intel.com>
Co-authored-by: Anton Chetverikov <anton.chetverikov@.intel.com>

Cleanup single_layer_tests (#2716)

Add LogSoftmax-5 to MO and ngraph (#2409)

Co-authored-by: Evgeny Lazarev <evgeny.lazarev@intel.com>

Remove deprecated Any op from nGraph (#2719)

[ONNX] Add type conversion for Pow op inputs (#2589)

Co-authored-by: mitruska <katarzyna.mitrus@intel.com>

Implement LookupTableInsert shape inference (#2348)

* Implement LookupTableInsertV2 shape inference

It is needed if other nodes not beeing pruned in the graph
have a conditional dependence on LookupTableInsertV2 node.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after core-review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix the code after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after code review #3

[JAVA] Fixed IECore constructor (#2685)

[IE CLDNN] DispatchData refactoring (#2508)

[CPU] CTCLoss performance improvement.

[PP GAPI] Extended plug-ins shared precision conversion tests to use (#2677)

`GetBlob()` as well

- test were extended to cover case when input tensors are copied into
Blob return by `InferRequest::GetBlob`
- channel number of input tensor is made a test parameter

Improve GNA MT sychronization (#2553)

* Sync GNA lib calls to avoid multi threads and plugins crash

* Remove TODO

* Enable sync for GNA1

* Fix GNA1 sync

* Add core_threading_tests to GNA Plugin to address story 31709

* Disable and change test description

Remove `memcheck_pregen_irs_tests` MemCheck configs due obsolescence (#2693)

Revise LRN reference implementation (#2672)

* fix typo in LRN docs

* fix link to reference in LRN doc

* LRN, LRN_IE types alignment with spec

* align LRN ref implementation to plugins behavior

* update LRN docs

* Improve LRN reference implementation performance

* restore LRN constructor with no axes in the input

* apply code format

* revert double->float size_t->int change

* small fix to example in doc

* revert double->float size_t->int in onnx_importer and backend tests

* Changes to docs after review

[opset5] ngraph implementation of Loop op (#2583)

* Loop op ngraph implementation, update IE IR Reader and ngraph to cnn converter

* refactoring SubGraphOp class

* type prop unit tests

* ngraph code style

* update comment

* single layer tests for Loop operation

* fix file name

* Add SpecialBodyPorts attribute in Loop op, update single layer tests

* add several new tests cases, strict checks in Loop impl, temporary disable single layer tests

* ngraph codestyle, refactoring, clone_new_args test

* resolve review remarks

* fix build

* fix tests

* add a new constructor of Loop op, resolve review remarks

[IE CLDNN] Added HSigmoid operation (#2700)

Improve python_wheel CMake target (#2688)

Tweaks for ONNX scoreboard (#2697)

[install_dependencies.sh] install latest cmake if current version is lower 3.13 (#2695)

* [install_dependencies.sh] install latest cmake if current version is lower 3.13

* add shellcheck for Ubuntu

* install python 2.7 for Ubuntu

Updating broken link on getting started linux doc (#2507)

Link to build instructions was broken, updated link to the correct location.

Small fix for python doc (#2696)

[GNA][Speech sample] Add option to specify blob names  (#1529)

* Added output names

* Add input, output, ref names

* Added zero scale factor

* Adding support for multiple reference files

[GNA] Fix remove layer + identity layer insertion (#2626)

* [GNA] Fix remove layer + identity layer insertion

test stub

Test impl

style

hpp style

* disable FP16 for GPU

Remove segfault marks form test_unary_op_scalar and test_range tests (#2692)

Co-authored-by: Ewa21 <ewa.tusien@intel.com>

Avoid unnecessary Reshape in ONNX Softmax impl (#2686)

Use GatherND-5 in the onnx_importer (#2634)

Added apiValidator post-build checks for WCOS compliance (#2657)

* Added apiValidator post-build checks for WCOS compiance

* WA for cmake

* Additional checks for old WDK version

[IE CLDNN] Add FP16 axes precision to Interpolate-4 (#2681)

JIRA: 40805

Workaround for Cython issue on Python 3.8 (#2684)

Set chmod +x for model_zoo_preprocess.sh

[NGRAPH] Fix UNITY build under Windows (#2678)

Reference Implementation for RegionYolo operator (#2474)

Update nGraph Python API build instructions (#2610)

Broadcast visit_attributes fix (#2649)

* Broadcast visit_attributes fix

* Broadcast: Python API adjustment

* Revert back deserialization change

[ONNX] Replace global poolings with reduce operations (#2650)

Update test_shufflenetv2 tolerance values (#2674)

* Update test_shufflenetv2 tolerance values

* Update model path

* Update models xfails

* Update mounting volumes to container

Co-authored-by: rblaczko <rafal.blaczkowski@intel.com>

ReorgYolo reference implementation (#2384)

* Align ReorgYolo to the spec (vector strides -> int stride)

* ReorgYolo ref impl

* ReorgYolo evaluate method

* ReorgYolo tests

* Tests update

* Style apply

* Add some coments

* Code refactor

* Comment update

* Style apply

* Build fix, mark evaluate as override

* Revert "Align ReorgYolo to the spec (vector strides -> int stride)"

* Use int_executable instead of evaluate

* Use char* instead of templates

* Code refactor

* Comment update

* Code review comment

* Add constructor aligned with spec

* Update shape validation

* Update attributes tests

* Add type_prop tests

* Update backend tests

* Add single layer tests

* Update the spec

* Remove wrong transformation test

[IE CLDNN] Fixes for GatherTree and ReverseSequence  (#2660)

Add hsigmoid op to ngraph (#2647)

Extend MO for operation GatherND (#2540)

* Extend MO for operation GatherND

* Update documentation

* Rename GatherNd.py to gathernd.py

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Fixed CVS-35316 (#2072)

Time tests improvements (#2642)

* Remove extra functions from run_timetest.py

* Add `log.debug` of raw and aggregated statistics in run_timetest.py

* Implement storing of models locally for test_timetest.py

Loop-5 operation specification (#2291)

The Loop-5 operation specification

Fix itt build (#2662)

setupvars.sh: Updated setting pyenv error to warning. (#2663)

nGraph implementation of NMS-5 (without `evaluate()`) (#2651)

* Written nGraph NMS-5 without evaluate().

* Used NGRAPH_RTTI_DECLARATION.

Leaky relu transformation refactor (#2640)

* Refactored LeakyRelu transformation

* Added unit test for LeakyRelu transformation + removed duplicate test function valued_const

[IE][VPU]: Added DSR_Reshape tests with dynamic output shape descriptor (#2607)

* Added DSR_Reshape tests with dynamic output shape descriptor

[IE][VPU]: TopK: Relax requirement for supporting Sort::None mode if K==1 (#2653)

* Update firmware
* Add TopK tests
* Disable some cases

Use  ittnotify built from sources (#2577)

* Use  ittnotify built from sources

ITT tracing was only possible on the platfroms supported by VTune.
Building ittnotify from sources removes VTune dependency.

ITT traces was found significantly slowdown tests execution time.
Disabling ENABLE_PROFILING_ITT by default. This is also
a current behavior of Intel Distribution of OpenVINO.

* Fix missprint

* Add include directories to itt

Provide ONNX external data mechanism to ReadNetwork (#2588)

* added unit test

* added python test

* using pword approach

* Added passing path to onnx reader

* support for wstring

* Added more tests

* Apply suggestions from code review

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* fix build for Windows

* styles applied

* Fixed Windows tests

* styles applied

* fixed styles in tests

* review remarks

* cmake order

* Used target_compile_definitions instead of add_definitions

* Move ONNX_TEST_MODELS to other scope

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

Extend nGraph for operation GatherND-5 and implement reference (#2587)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Fix using numpy scalars in Python API (#2520)

* fixed numpy scalars

* reverted tests changes

* python style fixed

[IE][VPU]: Support DTS for Split (#2576)

* [IE Tests] Remove unnecessary cout
* [VPU] Add DTS for split
* [VPU][Tests] Add tests

Move legacy transformations and ops to legacy library (#2624)

* Initial movement

* Divided transformations to common and legacy

* Changed ngraph visibility to ie_api.h

* CommonTransformaitons to Internal

* New trasnformations location structure

* fixde typo; move convert_quantize_dequantize to common

* Added control_flow folder

used native LTO support from cmake 3.9.6 (#2625)

* used native LTO support from cmake 3.9.6

* Removed compilation flags push / pop

* Fixes

* Fixes for VPU unit tests

* Temp WA for old gcc

Do reshape only if input shapes will be changed (#2632)

* Added private reshape

* Removed incorrect check

Round-5 nGraph implementation (#2652)

* Implement nGraph Round-5 operation

* Remove reference implementation

* Add shape infer tests

* Fix codestyle

Add LogSoftmax-5 to ngraph (#2645)

General code fixes (#2609)

[IE TESTS] Remove some deprecated single layer tests (#2646)

* [IE TESTS] Remove some deprecated single layer tests

* Gather Tree

[IE][NGRAPH][BUILD] Enable UNITY build for more targets (#2592)

* Avoid symbols clash due to source merging.
* Tested on Ubuntu 20.04 with GCC 9.3.0.

Plugin interface refactoring (#2591)

* Simplified plugin interface

* Allow not implemented

* Fixes

* Fixed CPU plugin tests

* Fixed tests dependencies

* Fixes

* Fixed GPU plugin compilation

* Renamed plugin

* Fixes

* Removed tests for plugin base

* Fix2

* Fix 2

* Define a macro to define plugin creation function

* Clean-up

* Fixed OSX build

* Fixed CentOS

* Removed statuscode from IExecutableNetworkInternal interface

* Interface

* Removed not used macro

* QueryNetwork returns result using return value

* LoadNetwork interface

* Fixed compilation with private plugins

* Fixed compilation when NGRAPH_INTERP is not enabled

* Return ExecutableNetwork from ImportNetwork with fileName

* Updated GetContext method

* Return exec graph information as return value

* Message about deprecation of Export with file name

* Message about deprecation of QueryState

* Updated ExecutableNetwork::GetConfig signature

* Updated ExecutableNetwork::GetMetric signature

* Updated docs

* WIP createIR

* Simplified IR creation

* CreateInferRequest returns value

* Removed GetExecutor from ExecutableNetworkThreadSafeDefault

* execDataPreprocessing is protected

* Fixed mock test

[IE CLDNN] Revert fix for profiling of multiple kernel implementations (#2219) (#2595)

GitHub CI: Add files_size.yml (#2570)

* GitHub CI: Add files_size.yml

* Update job name

[IE][BUILD] Fix C5208 warning under Windows (#2628)

* C++ feature in C `typedef struct` code.
* The warning can be promoted to error in dependent projects.

C5208: unnamed class used in typedef name cannot declare members other than
non-static data members, member enumerations, or member classes

add build option USE_SYSTEM_PUGIXML (#2502)

It allows skipping inference-engine/thirdparty/pugixml and using the
system copy instead.

Thanks to @Osse for helping understand cmake scoping rules.

Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>

Azure CI: Fix nGraph ONNX

Azure CI: Disable steps in nGraph ONNX

Azure CI: Add linux_ngraph_onnx.yml

[IE Myriad] Fix layer tests for logical_and (#2622)

Fixed ODR for LTO with gcc5 (#2615)

[MO] [Kaldi] Add TDNN Component (#1870)

* [MO] [Kaldi] Added TDNN Component

* TdnnComponent replacer graphical comment updated

* Added SpecAugmentTimeMaskComponent

* some refactor of memoryoffset shape_infer

* moved memoryoffset splitting to the middle stage

* some corrections
- set `need_shape_inferenc`=False in split_memoryoffset
- use cycle instead of pattern in tdnn_replacer

* separated splitting of MemoryOffsets in LSTM and TDNN blocks

* set transpose_weights=True in TdnnComponent

* Corrected Supported_Frameworks_Layers

* corrected comments

* separate naming for tdnn and lstm memoryoffset splits

* corrected BOM file

* corrected generaldropout_ext.py and removed 'has_default' for tdnn_component

* corrections after PR review

* renamed LSTM -> recurrent; added setting element_size for paired nodes of tdnn_memoffset and othe minor changes

* Update split_tdnn_memoryoffset.py

* corrected partial infer with new API in elemental.py and split_tdnn_memoryoffset.py

[IE TOOLS] Support of models with output port in names (#2594)

[MO] Fix ONNX Clamp-11 shape infer with no min/max inputs (#2603)

[IE CLDNN] TopK registry spill avoiding for sort-by-value mode (#2590)

Tests and docs for registering custom ONNX operators (#2416)

* Add tests, examples and documentation changes for custom ONNX operators registration mechanism

* Change snippet paths

* fix CoreThreadingTests.ReadNetwork - data race in ops_bridge

* Make TemplateExtension::Operation externally visible

* changes after review

* apply code format

* use std::int64_t

* forward declare get_attribute_value specializations

* introduce unregister_operator in onnx_importer

* onnx_custom_op - lock mem first then take a buffer

* func tests - create template_extension via make_so_pointer

* fix build with NGRAPH_ONNX_IMPORT_ENABLE=OFF

* remove exports from Operation and Extension

* Move multithreaded AddExtension test to different directory to it can be excluded when NGRAPH_ONNX_IMPORT_ENABLE=OFF

* Dont include Extension tests if ENABLE_MKL_DNN=OFF

* fix excluding onnx_reader tests

* include extension tests only if mkl is enabled

* add comment on empty blob

* use register_operator conditionally in template_extension

* fix docs after review

* create static library from onnx_custom_op

* add additional test for unregister_operator

* move model example after register step

* revert changes to unit tests

* update ngraphConfig.cmake.in header

* add headers to onnx_custom_op

* changes to docs CMakeLists

* remove redundant onnx_importer dependency

* remove extension directory from func tests

* make onnx_importer a component of ngraph package

* docs fixes

* update header of ngraph/cmake/share/ngraphConfig.cmake.in with ngraph_onnx_importer_FOUND

Fixed LTO for gcc-9 (ubuntu 20.04) (#2616)

* Fixed LTO for gcc-9 (ubuntu 20.04)

* Fixed ODR rules violation for MKLDNN deprecated functional tests

* Fixed tests build for templatePlugin

Allow to specify both in/out precision, add in/out layout in tests (#2516)

* test definitions

* CPU plugin shared tests

* CPU plugin custom tests

* GNA plugin shared tests

* GPU plugin shared tests

* MYR plugin shared tests

* TML plugin shared tests

DOCS: added code snippets compilation and fixes (#2606)

Update ONNX importer LSTM to use v5 LSTMSequence  (#2511)

Fine-Grain Transformation pipeline tuning (#2547)

* Initial version of transformation callback refactoring

* Improved fine-grain tuning for transformation pipeline

* Check disabled matchers in GraphRewrite

* Avoid deprecated classes inside PassConfig

* Enabled DepthToSpace fusion by default

* Removed doulbe search in map

* Moved back pass_config.hpp; Added doxygen documentation for new class and methods

* Added doxygen comment for Manager and GraphRewrite new mthods

Shellcheck update (#2557)

* Fixed SC2236 rules

* Fixed SC2086 rule

* Small fixes in other scripts

Add strict timeout for test execution (#2598)

ngraph python sample (#2574)

This sample demonstrates how to execute an inference using ngraph::Function to create a network
- added sample
- added readme
- added lenet weights

[MO] Fix many spelling and grammar errors (#2543)

[IE][VPU]: Added wrapper for LogicalNot layer (#2562)

Specify LogSoftmax-5 operation (#2382)

* Specify LogSoftmax operation

* Fix feedback

doc: add openvino tag link on StackOverflow (#2585)

NonMaxSuppression-5 operation specification (#2310)

* The specification of NonMaxSuppression-5.

* Replaced opset4 with opset5.

* Fixed func(iou) when soft_nms_sigma == 0.

* Now outputs of NMS-5 have dynamic shapes.

* Now inputs 3, 4, 5, 6 can be 0D or 1D tensors.

* Now output 3 is 1D tensor.

nGraph Python API tweaks and tutorial (#2471)

Specify `cl_cache_dir` env var: (#2581)

1. General behaviour doesn't work for some compute-runtime versions.
Specification of `cl_cache_dir` fixes it

Prepare new test configuration for test_timetest.py (#2561)

* Add logging of DB upload to tconf with refs saving

* Prepare `.automation/tgl_test_config.yml` with models from VPUX package

* Add restriction on `exe` and `model` existence in run_timetest.py