Round-5 nGraph implementation (#2652)

* Implement nGraph Round-5 operation

* Remove reference implementation

* Add shape infer tests

* Fix codestyle

Add LogSoftmax-5 to ngraph (#2645)

General code fixes (#2609)

[IE TESTS] Remove some deprecated single layer tests (#2646)

* [IE TESTS] Remove some deprecated single layer tests

* Gather Tree

[IE][NGRAPH][BUILD] Enable UNITY build for more targets (#2592)

* Avoid symbols clash due to source merging.
* Tested on Ubuntu 20.04 with GCC 9.3.0.

Plugin interface refactoring (#2591)

* Simplified plugin interface

* Allow not implemented

* Fixes

* Fixed CPU plugin tests

* Fixed tests dependencies

* Fixes

* Fixed GPU plugin compilation

* Renamed plugin

* Fixes

* Removed tests for plugin base

* Fix2

* Fix 2

* Define a macro to define plugin creation function

* Clean-up

* Fixed OSX build

* Fixed CentOS

* Removed statuscode from IExecutableNetworkInternal interface

* Interface

* Removed not used macro

* QueryNetwork returns result using return value

* LoadNetwork interface

* Fixed compilation with private plugins

* Fixed compilation when NGRAPH_INTERP is not enabled

* Return ExecutableNetwork from ImportNetwork with fileName

* Updated GetContext method

* Return exec graph information as return value

* Message about deprecation of Export with file name

* Message about deprecation of QueryState

* Updated ExecutableNetwork::GetConfig signature

* Updated ExecutableNetwork::GetMetric signature

* Updated docs

* WIP createIR

* Simplified IR creation

* CreateInferRequest returns value

* Removed GetExecutor from ExecutableNetworkThreadSafeDefault

* execDataPreprocessing is protected

* Fixed mock test

[IE CLDNN] Revert fix for profiling of multiple kernel implementations (#2219) (#2595)

GitHub CI: Add files_size.yml (#2570)

* GitHub CI: Add files_size.yml

* Update job name

[IE][BUILD] Fix C5208 warning under Windows (#2628)

* C++ feature in C `typedef struct` code.
* The warning can be promoted to error in dependent projects.

C5208: unnamed class used in typedef name cannot declare members other than
non-static data members, member enumerations, or member classes

add build option USE_SYSTEM_PUGIXML (#2502)

It allows skipping inference-engine/thirdparty/pugixml and using the
system copy instead.

Thanks to @Osse for helping understand cmake scoping rules.

Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>

Azure CI: Fix nGraph ONNX

Azure CI: Disable steps in nGraph ONNX

Azure CI: Add linux_ngraph_onnx.yml

[IE Myriad] Fix layer tests for logical_and (#2622)

Fixed ODR for LTO with gcc5 (#2615)

[MO] [Kaldi] Add TDNN Component (#1870)

* [MO] [Kaldi] Added TDNN Component

* TdnnComponent replacer graphical comment updated

* Added SpecAugmentTimeMaskComponent

* some refactor of memoryoffset shape_infer

* moved memoryoffset splitting to the middle stage

* some corrections
- set `need_shape_inferenc`=False in split_memoryoffset
- use cycle instead of pattern in tdnn_replacer

* separated splitting of MemoryOffsets in LSTM and TDNN blocks

* set transpose_weights=True in TdnnComponent

* Corrected Supported_Frameworks_Layers

* corrected comments

* separate naming for tdnn and lstm memoryoffset splits

* corrected BOM file

* corrected generaldropout_ext.py and removed 'has_default' for tdnn_component

* corrections after PR review

* renamed LSTM -> recurrent; added setting element_size for paired nodes of tdnn_memoffset and othe minor changes

* Update split_tdnn_memoryoffset.py

* corrected partial infer with new API in elemental.py and split_tdnn_memoryoffset.py

[IE TOOLS] Support of models with output port in names (#2594)

[MO] Fix ONNX Clamp-11 shape infer with no min/max inputs (#2603)

[IE CLDNN] TopK registry spill avoiding for sort-by-value mode (#2590)

Tests and docs for registering custom ONNX operators (#2416)

* Add tests, examples and documentation changes for custom ONNX operators registration mechanism

* Change snippet paths

* fix CoreThreadingTests.ReadNetwork - data race in ops_bridge

* Make TemplateExtension::Operation externally visible

* changes after review

* apply code format

* use std::int64_t

* forward declare get_attribute_value specializations

* introduce unregister_operator in onnx_importer

* onnx_custom_op - lock mem first then take a buffer

* func tests - create template_extension via make_so_pointer

* fix build with NGRAPH_ONNX_IMPORT_ENABLE=OFF

* remove exports from Operation and Extension

* Move multithreaded AddExtension test to different directory to it can be excluded when NGRAPH_ONNX_IMPORT_ENABLE=OFF

* Dont include Extension tests if ENABLE_MKL_DNN=OFF

* fix excluding onnx_reader tests

* include extension tests only if mkl is enabled

* add comment on empty blob

* use register_operator conditionally in template_extension

* fix docs after review

* create static library from onnx_custom_op

* add additional test for unregister_operator

* move model example after register step

* revert changes to unit tests

* update ngraphConfig.cmake.in header

* add headers to onnx_custom_op

* changes to docs CMakeLists

* remove redundant onnx_importer dependency

* remove extension directory from func tests

* make onnx_importer a component of ngraph package

* docs fixes

* update header of ngraph/cmake/share/ngraphConfig.cmake.in with ngraph_onnx_importer_FOUND

Fixed LTO for gcc-9 (ubuntu 20.04) (#2616)

* Fixed LTO for gcc-9 (ubuntu 20.04)

* Fixed ODR rules violation for MKLDNN deprecated functional tests

* Fixed tests build for templatePlugin

Allow to specify both in/out precision, add in/out layout in tests (#2516)

* test definitions

* CPU plugin shared tests

* CPU plugin custom tests

* GNA plugin shared tests

* GPU plugin shared tests

* MYR plugin shared tests

* TML plugin shared tests

DOCS: added code snippets compilation and fixes (#2606)

Update ONNX importer LSTM to use v5 LSTMSequence  (#2511)

Fine-Grain Transformation pipeline tuning (#2547)

* Initial version of transformation callback refactoring

* Improved fine-grain tuning for transformation pipeline

* Check disabled matchers in GraphRewrite

* Avoid deprecated classes inside PassConfig

* Enabled DepthToSpace fusion by default

* Removed doulbe search in map

* Moved back pass_config.hpp; Added doxygen documentation for new class and methods

* Added doxygen comment for Manager and GraphRewrite new mthods

Shellcheck update (#2557)

* Fixed SC2236 rules

* Fixed SC2086 rule

* Small fixes in other scripts

Add strict timeout for test execution (#2598)

ngraph python sample (#2574)

This sample demonstrates how to execute an inference using ngraph::Function to create a network
- added sample
- added readme
- added lenet weights

[MO] Fix many spelling and grammar errors (#2543)

[IE][VPU]: Added wrapper for LogicalNot layer (#2562)

Specify LogSoftmax-5 operation (#2382)

* Specify LogSoftmax operation

* Fix feedback

doc: add openvino tag link on StackOverflow (#2585)

NonMaxSuppression-5 operation specification (#2310)

* The specification of NonMaxSuppression-5.

* Replaced opset4 with opset5.

* Fixed func(iou) when soft_nms_sigma == 0.

* Now outputs of NMS-5 have dynamic shapes.

* Now inputs 3, 4, 5, 6 can be 0D or 1D tensors.

* Now output 3 is 1D tensor.

nGraph Python API tweaks and tutorial (#2471)

Specify `cl_cache_dir` env var: (#2581)

1. General behaviour doesn't work for some compute-runtime versions.
Specification of `cl_cache_dir` fixes it

Prepare new test configuration for test_timetest.py (#2561)

* Add logging of DB upload to tconf with refs saving

* Prepare `.automation/tgl_test_config.yml` with models from VPUX package

* Add restriction on `exe` and `model` existence in run_timetest.py

[IE CLDNN] Fix profiling of multiple kernel implementations (#2219)

[IE CLDNN] Refreshment of convolution_gpu_fs_byx_fsv32 kernel (#2536)

Updated ConstantFolding pass to propagate friendly name (#2572)

* Fixed concat output name when decomposing shape_of in CF

* Added friendly_name propagation for CF pass

* Propagate runtime info inside ConstantFolding pass

* Fixed rt info merge strategy to avoid cases when merge is not implemented but attributes number is equal to 1

increase http timeout for artifacts uploading (#2571)

[IE Tests] Added NormalizeL2 tests (#2327)

* Added NormalizeL2 tests

* Added NormalizeL2 reference

* Add nGraph tests

* Fix tests

* Added NormalizeL2 builder

Add specification for Round operation (#2238)

* Add specification for Round operation

* Create opset5.md file

* Resolve review comments

* Remove useless formula section from specification

* Update specification

* Update Round specification

* Resolve review comments

Add HSigmoid spec (#2412)

* Add HSigmoid spec

Timetests test_runner improvements (#2552)

* Remove `generate_tmp_path` as unnecessary after refactoring

* Add `check_positive_int` check for `-niter` CLI key

* Replace `TestConfDumper` with number of fixtures:
1. Save all test info in global `request` and `pytestconfig` fixtures
2. Add `test_info` fixture for retrieving test info from test
3. Add `prepare_tconf_with_refs` fixture for test conf dump

Port 2021.1 documentation updates for GNA plugin and speech libs and demos. (#2564)

* Update docs for speech libs and demos (#2518)

* [GNA] Documentation updates for 2021.1 (#2460)

* [GNA] Documentation updates for 2021.1

* Take Mike's comments into account

* More fixes according to review

* Fix processor generation names

[IE][TOOLS] Improvements for compile_tool (#2555)

* Split cmd arguments onto sections (common, MYRIAD, FPGA).
* Add `-iol` cmd argument as `-iop` analogue for layouts.
* Remove limitations over `-ip`, `-op`, `-iop` arguments.
  Now they supports full meaningfull set of Precision/Layout values and will allow to user set any precision for any input/output.
  The applicability for this in under user reponsibility and support under plugin reponsibility.
* Add VPUX default configuration.
* Adjust code style to the project common style.

Co-authored-by: Alexander Novak <sasha-novak@yandex.ru>

ngraph docs to master (#2568)

* First draft of nGraph documentation

* updated according to review comments

* Updated

* Reviewed the nGraph Transformation section, added missing images

* Update nGraph_dg.md

* Delete python_api.md

Removed since there is already the nGraph_Python_API.md document with a comprehensive overview.

* Fixed links to images

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>
Co-authored-by: CCR\avladimi <anastasiya.ageeva@intel.com>

CTCGreedyDecoder reference implementation (#2284)

Update SW requirements in build instructions and change latest release to 2021.1 (#2566)

Specify GatherND-5 operation (#2414)

* Specify GatherND-5 operation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update ie_docs.xml with GatherND-5

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Test results publishing to Azure DevOps v2 (#2539)

* do not merge results
* add Linux and Mac publishing

Moved WA for legacy includes to dev package (#1712)

* Moved WA for legacy includes to dev package

* Fixed compilation

* Fixed compilation

* Fixes

Added ONNX Resize-11 to supported layers in documentation (#2324)

* Commit.

* Fixed list of supported frameworks layers.

* Small fix.

Add `"cl_cache"` preparation in test_timetest.py (#2490)

GitHub CI: Add ShellCheck (#2554)

* Add shellcheck
* Remove fetchDepth: 1

Azure CI: Add --gtest_filter=*smoke* (#2551)

Re-enable more unit tests (Resize & Interpolate) (#2331)

[GNA] Issue 39975 - cascade concat fix (#2486)

* concat input not used fix rough implementation

* [GNA] Cascade concat input not assigned fix

* reduce copying in recursive function

* [GNA] Aligned cascade concat test

[GNA] FIX CopyLayerPass for concat parent cases (#2485)

* [GNA] fix cases when layer output is used in both memory and concat parent layer

* coma fixes

* Issue-36189 CopyLayerPass for concat parent cases fix test

* Fix test for CPU

* Remove test for GPU

[GNA] Fix LSTM Cell channel C being 0 on output (#1174)

* [GNA] get output before activation test

[GNA] SubstituteScaleShiftBroadCastPass fix for cases when there are multiple scaleshifts as an output from the layer

[GNA] Generalize Fix where LSTMCell output was zero due to being fused into activation

[GNA] Fix LSTMCell being zero on channel C if being output layer

* linux build fix

Shellcheck tests for bash scripts (#2532)

* Added bash scripts checks with shellcheck

* Fixed indentations

* Fixed setupvars.sh with shellcheck

* Fixed MO scripts

* Compilation with newer versions of shellcheck

[Jenkinsfile] Bump infra (#2545)

Revert "Sync GNA lib calls to avoid multi threads and plugins crash (#2435)" (#2538)

This reverts commit 0879938250d369427c39a5403f18412ee551c4ff.

Remove `--collect_results_only` (#2509)

* Remove CLI keys from README

* Remove `--collect_results_only` from MemCheckTests

[VPU][IE] Disable ConvertMinimum transformation for Myriad Plugin (#2437)

add test results publishing (#2513)

[MO] Fix: add PermuteInputs to shape broadcasting (#2419)

* fix: add PermuteInputs to shape broadcasting

* fix type declaration typo

Sync GNA lib calls to avoid multi threads and plugins crash (#2435)

* Sync GNA lib calls to avoid multi threads and plugins crash

* Remove TODO

* Enable sync for GNA1

* Fix GNA1 sync

* Add core_threading_tests to GNA Plugin to address story 31709

Removed similar behaviour tests (#2528)

[IE][TESTS][CMAKE] Add -Wno-deprecated-copy compile flag for GTest (#2514)

It fixes build on Ubuntu 20.04 with gcc 9.3.0.

[IE TESTS] move MultipleAllocations test to nightly (#2512)

Co-authored-by: kora6 <kora6@github.com>

[DOCS] Added an evaluate method for custom operation (#2273)

* Added an evaluate method for custom operation

* Fixed comments

Feature/azaytsev/cherry pick pr2448 2469 2457 to master (#2515)

* Feature/azaytsev/cvs-38240 (#2469)

* Updated for 2020 version, replaced Ubuntu 16.04 with Ubuntu 20.04

* Updated the release package numbers

* Updated according to the comments in the ticket CVS-37827 (#2448)

* Update build-instruction.md for MacOsX (#2457)

* Update build-instruction.md for MacOsX

* Removed call of install_dependencies.sh from the steps

Update get_ov_update_message.py (#2499)

[IE CLDNN] Fix eltwise fused ops in NO_PITCH_SAME_DIMS mode (#2454)

[IE CLDNN] Fix unsupported dims number error (#2453)

Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0 (#2407) (#2504)

* Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0

   OpenCV 4.5.0

* Fix windows build

[IE Tests] Added test filters for gpuFuncTests target (#2496)

[IE Tests] Added test filters for cpuFuncTests target (#2495)

[IE Tests] Added test filters for gnaFuncTests target (#2492)

[IE Tests] Added test filters for myriadFuncTests target (#2494)

[IE CLDNN] Changed the way of using fused ops to use activation appropriately (#2415)

[IE CLDNN] Remove debug code from reference_convolve (#2493)

IECore.read_network: accept arbitrary PathLike objects and not just Path (#1611)

Azure CI: Remove azure-pipelines.yml

Relax shape inference for Split:v1 (#2444)

* Relaxed shape inference for Split

* added unit tests

* review remarks

Move passes to CommonOptimizations (#2442)

* Move passes to CommonOptimizations

* Updated BN tests to use ranges for constant value generation

* Added some decomposition passes into legacy conversion

* Added WA for FQReshapeFusion pass

Azure CI: Add separated pipelines for Windows, Linux, Mac

[GNA]specific execution order for delayer copy layer (#2117)

[GNA]specific execution order for delayer copy layer + Test

Fix virtual class inheritance for single layer test detection output (#2472)

doc: add docker ci link to README.md (#2483)

Hide input redirection error (#2473)

timeout cmd can throw an input redirection error in background mode.
Replaced default timeout() with custom function delay()

Added closing braсket (#2466) (#2479)

Fixed syntax error (b4b03b1)

Support operation Interpolate-4 in OpenVINO (#1596)

JIRA: 26973

Downgrade cmake for samples (#2372) (#2434)

* Downgrade cmake for samples

Downgraded cmake version to default version for Ubuntu 18.04

* Updated supported python version

The minimal python version in 2021.1 is 3.5

* Added notes about cmake requirements for samples and demo

Support references in test_timetest.py (#2431)

Support DB reporting for test_timetest.py (#2359)

[Cherrypick] Remove the deprecation notice (#2408)

* cherry-pick 1/2

* Removed deprecation notice

Host tensor 2 vector refactor (#2443)

Add support for custom ONNX GroupNorm operator (#2267)