Leaky relu transformation refactor (#2640)

* Refactored LeakyRelu transformation

* Added unit test for LeakyRelu transformation + removed duplicate test function valued_const

[IE][VPU]: Added DSR_Reshape tests with dynamic output shape descriptor (#2607)

* Added DSR_Reshape tests with dynamic output shape descriptor

[IE][VPU]: TopK: Relax requirement for supporting Sort::None mode if K==1 (#2653)

* Update firmware
* Add TopK tests
* Disable some cases

Use  ittnotify built from sources (#2577)

* Use  ittnotify built from sources

ITT tracing was only possible on the platfroms supported by VTune.
Building ittnotify from sources removes VTune dependency.

ITT traces was found significantly slowdown tests execution time.
Disabling ENABLE_PROFILING_ITT by default. This is also
a current behavior of Intel Distribution of OpenVINO.

* Fix missprint

* Add include directories to itt

Provide ONNX external data mechanism to ReadNetwork (#2588)

* added unit test

* added python test

* using pword approach

* Added passing path to onnx reader

* support for wstring

* Added more tests

* Apply suggestions from code review

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* fix build for Windows

* styles applied

* Fixed Windows tests

* styles applied

* fixed styles in tests

* review remarks

* cmake order

* Used target_compile_definitions instead of add_definitions

* Move ONNX_TEST_MODELS to other scope

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

Extend nGraph for operation GatherND-5 and implement reference (#2587)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Fix using numpy scalars in Python API (#2520)

* fixed numpy scalars

* reverted tests changes

* python style fixed

[IE][VPU]: Support DTS for Split (#2576)

* [IE Tests] Remove unnecessary cout
* [VPU] Add DTS for split
* [VPU][Tests] Add tests

Move legacy transformations and ops to legacy library (#2624)

* Initial movement

* Divided transformations to common and legacy

* Changed ngraph visibility to ie_api.h

* CommonTransformaitons to Internal

* New trasnformations location structure

* fixde typo; move convert_quantize_dequantize to common

* Added control_flow folder

used native LTO support from cmake 3.9.6 (#2625)

* used native LTO support from cmake 3.9.6

* Removed compilation flags push / pop

* Fixes

* Fixes for VPU unit tests

* Temp WA for old gcc

Do reshape only if input shapes will be changed (#2632)

* Added private reshape

* Removed incorrect check

Round-5 nGraph implementation (#2652)

* Implement nGraph Round-5 operation

* Remove reference implementation

* Add shape infer tests

* Fix codestyle

Add LogSoftmax-5 to ngraph (#2645)

General code fixes (#2609)

[IE TESTS] Remove some deprecated single layer tests (#2646)

* [IE TESTS] Remove some deprecated single layer tests

* Gather Tree

[IE][NGRAPH][BUILD] Enable UNITY build for more targets (#2592)

* Avoid symbols clash due to source merging.
* Tested on Ubuntu 20.04 with GCC 9.3.0.

Plugin interface refactoring (#2591)

* Simplified plugin interface

* Allow not implemented

* Fixes

* Fixed CPU plugin tests

* Fixed tests dependencies

* Fixes

* Fixed GPU plugin compilation

* Renamed plugin

* Fixes

* Removed tests for plugin base

* Fix2

* Fix 2

* Define a macro to define plugin creation function

* Clean-up

* Fixed OSX build

* Fixed CentOS

* Removed statuscode from IExecutableNetworkInternal interface

* Interface

* Removed not used macro

* QueryNetwork returns result using return value

* LoadNetwork interface

* Fixed compilation with private plugins

* Fixed compilation when NGRAPH_INTERP is not enabled

* Return ExecutableNetwork from ImportNetwork with fileName

* Updated GetContext method

* Return exec graph information as return value

* Message about deprecation of Export with file name

* Message about deprecation of QueryState

* Updated ExecutableNetwork::GetConfig signature

* Updated ExecutableNetwork::GetMetric signature

* Updated docs

* WIP createIR

* Simplified IR creation

* CreateInferRequest returns value

* Removed GetExecutor from ExecutableNetworkThreadSafeDefault

* execDataPreprocessing is protected

* Fixed mock test

[IE CLDNN] Revert fix for profiling of multiple kernel implementations (#2219) (#2595)

GitHub CI: Add files_size.yml (#2570)

* GitHub CI: Add files_size.yml

* Update job name

[IE][BUILD] Fix C5208 warning under Windows (#2628)

* C++ feature in C `typedef struct` code.
* The warning can be promoted to error in dependent projects.

C5208: unnamed class used in typedef name cannot declare members other than
non-static data members, member enumerations, or member classes

add build option USE_SYSTEM_PUGIXML (#2502)

It allows skipping inference-engine/thirdparty/pugixml and using the
system copy instead.

Thanks to @Osse for helping understand cmake scoping rules.

Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>

Azure CI: Fix nGraph ONNX

Azure CI: Disable steps in nGraph ONNX

Azure CI: Add linux_ngraph_onnx.yml

[IE Myriad] Fix layer tests for logical_and (#2622)

Fixed ODR for LTO with gcc5 (#2615)

[MO] [Kaldi] Add TDNN Component (#1870)

* [MO] [Kaldi] Added TDNN Component

* TdnnComponent replacer graphical comment updated

* Added SpecAugmentTimeMaskComponent

* some refactor of memoryoffset shape_infer

* moved memoryoffset splitting to the middle stage

* some corrections
- set `need_shape_inferenc`=False in split_memoryoffset
- use cycle instead of pattern in tdnn_replacer

* separated splitting of MemoryOffsets in LSTM and TDNN blocks

* set transpose_weights=True in TdnnComponent

* Corrected Supported_Frameworks_Layers

* corrected comments

* separate naming for tdnn and lstm memoryoffset splits

* corrected BOM file

* corrected generaldropout_ext.py and removed 'has_default' for tdnn_component

* corrections after PR review

* renamed LSTM -> recurrent; added setting element_size for paired nodes of tdnn_memoffset and othe minor changes

* Update split_tdnn_memoryoffset.py

* corrected partial infer with new API in elemental.py and split_tdnn_memoryoffset.py

[IE TOOLS] Support of models with output port in names (#2594)

[MO] Fix ONNX Clamp-11 shape infer with no min/max inputs (#2603)

[IE CLDNN] TopK registry spill avoiding for sort-by-value mode (#2590)

Tests and docs for registering custom ONNX operators (#2416)

* Add tests, examples and documentation changes for custom ONNX operators registration mechanism

* Change snippet paths

* fix CoreThreadingTests.ReadNetwork - data race in ops_bridge

* Make TemplateExtension::Operation externally visible

* changes after review

* apply code format

* use std::int64_t

* forward declare get_attribute_value specializations

* introduce unregister_operator in onnx_importer

* onnx_custom_op - lock mem first then take a buffer

* func tests - create template_extension via make_so_pointer

* fix build with NGRAPH_ONNX_IMPORT_ENABLE=OFF

* remove exports from Operation and Extension

* Move multithreaded AddExtension test to different directory to it can be excluded when NGRAPH_ONNX_IMPORT_ENABLE=OFF

* Dont include Extension tests if ENABLE_MKL_DNN=OFF

* fix excluding onnx_reader tests

* include extension tests only if mkl is enabled

* add comment on empty blob

* use register_operator conditionally in template_extension

* fix docs after review

* create static library from onnx_custom_op

* add additional test for unregister_operator

* move model example after register step

* revert changes to unit tests

* update ngraphConfig.cmake.in header

* add headers to onnx_custom_op

* changes to docs CMakeLists

* remove redundant onnx_importer dependency

* remove extension directory from func tests

* make onnx_importer a component of ngraph package

* docs fixes

* update header of ngraph/cmake/share/ngraphConfig.cmake.in with ngraph_onnx_importer_FOUND

Fixed LTO for gcc-9 (ubuntu 20.04) (#2616)

* Fixed LTO for gcc-9 (ubuntu 20.04)

* Fixed ODR rules violation for MKLDNN deprecated functional tests

* Fixed tests build for templatePlugin

Allow to specify both in/out precision, add in/out layout in tests (#2516)

* test definitions

* CPU plugin shared tests

* CPU plugin custom tests

* GNA plugin shared tests

* GPU plugin shared tests

* MYR plugin shared tests

* TML plugin shared tests

DOCS: added code snippets compilation and fixes (#2606)

Update ONNX importer LSTM to use v5 LSTMSequence  (#2511)

Fine-Grain Transformation pipeline tuning (#2547)

* Initial version of transformation callback refactoring

* Improved fine-grain tuning for transformation pipeline

* Check disabled matchers in GraphRewrite

* Avoid deprecated classes inside PassConfig

* Enabled DepthToSpace fusion by default

* Removed doulbe search in map

* Moved back pass_config.hpp; Added doxygen documentation for new class and methods

* Added doxygen comment for Manager and GraphRewrite new mthods

Shellcheck update (#2557)

* Fixed SC2236 rules

* Fixed SC2086 rule

* Small fixes in other scripts

Add strict timeout for test execution (#2598)

ngraph python sample (#2574)

This sample demonstrates how to execute an inference using ngraph::Function to create a network
- added sample
- added readme
- added lenet weights

[MO] Fix many spelling and grammar errors (#2543)

[IE][VPU]: Added wrapper for LogicalNot layer (#2562)

Specify LogSoftmax-5 operation (#2382)

* Specify LogSoftmax operation

* Fix feedback

doc: add openvino tag link on StackOverflow (#2585)

NonMaxSuppression-5 operation specification (#2310)

* The specification of NonMaxSuppression-5.

* Replaced opset4 with opset5.

* Fixed func(iou) when soft_nms_sigma == 0.

* Now outputs of NMS-5 have dynamic shapes.

* Now inputs 3, 4, 5, 6 can be 0D or 1D tensors.

* Now output 3 is 1D tensor.

nGraph Python API tweaks and tutorial (#2471)

Specify `cl_cache_dir` env var: (#2581)

1. General behaviour doesn't work for some compute-runtime versions.
Specification of `cl_cache_dir` fixes it

Prepare new test configuration for test_timetest.py (#2561)

* Add logging of DB upload to tconf with refs saving

* Prepare `.automation/tgl_test_config.yml` with models from VPUX package

* Add restriction on `exe` and `model` existence in run_timetest.py

[IE CLDNN] Fix profiling of multiple kernel implementations (#2219)

[IE CLDNN] Refreshment of convolution_gpu_fs_byx_fsv32 kernel (#2536)

Updated ConstantFolding pass to propagate friendly name (#2572)

* Fixed concat output name when decomposing shape_of in CF

* Added friendly_name propagation for CF pass

* Propagate runtime info inside ConstantFolding pass

* Fixed rt info merge strategy to avoid cases when merge is not implemented but attributes number is equal to 1

increase http timeout for artifacts uploading (#2571)

[IE Tests] Added NormalizeL2 tests (#2327)

* Added NormalizeL2 tests

* Added NormalizeL2 reference

* Add nGraph tests

* Fix tests

* Added NormalizeL2 builder

Add specification for Round operation (#2238)

* Add specification for Round operation

* Create opset5.md file

* Resolve review comments

* Remove useless formula section from specification

* Update specification

* Update Round specification

* Resolve review comments

Add HSigmoid spec (#2412)

* Add HSigmoid spec

Timetests test_runner improvements (#2552)

* Remove `generate_tmp_path` as unnecessary after refactoring

* Add `check_positive_int` check for `-niter` CLI key

* Replace `TestConfDumper` with number of fixtures:
1. Save all test info in global `request` and `pytestconfig` fixtures
2. Add `test_info` fixture for retrieving test info from test
3. Add `prepare_tconf_with_refs` fixture for test conf dump

Port 2021.1 documentation updates for GNA plugin and speech libs and demos. (#2564)

* Update docs for speech libs and demos (#2518)

* [GNA] Documentation updates for 2021.1 (#2460)

* [GNA] Documentation updates for 2021.1

* Take Mike's comments into account

* More fixes according to review

* Fix processor generation names

[IE][TOOLS] Improvements for compile_tool (#2555)

* Split cmd arguments onto sections (common, MYRIAD, FPGA).
* Add `-iol` cmd argument as `-iop` analogue for layouts.
* Remove limitations over `-ip`, `-op`, `-iop` arguments.
  Now they supports full meaningfull set of Precision/Layout values and will allow to user set any precision for any input/output.
  The applicability for this in under user reponsibility and support under plugin reponsibility.
* Add VPUX default configuration.
* Adjust code style to the project common style.

Co-authored-by: Alexander Novak <sasha-novak@yandex.ru>

ngraph docs to master (#2568)

* First draft of nGraph documentation

* updated according to review comments

* Updated

* Reviewed the nGraph Transformation section, added missing images

* Update nGraph_dg.md

* Delete python_api.md

Removed since there is already the nGraph_Python_API.md document with a comprehensive overview.

* Fixed links to images

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>
Co-authored-by: CCR\avladimi <anastasiya.ageeva@intel.com>

CTCGreedyDecoder reference implementation (#2284)

Update SW requirements in build instructions and change latest release to 2021.1 (#2566)

Specify GatherND-5 operation (#2414)

* Specify GatherND-5 operation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update ie_docs.xml with GatherND-5

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Test results publishing to Azure DevOps v2 (#2539)

* do not merge results
* add Linux and Mac publishing

Moved WA for legacy includes to dev package (#1712)

* Moved WA for legacy includes to dev package

* Fixed compilation

* Fixed compilation

* Fixes

Added ONNX Resize-11 to supported layers in documentation (#2324)

* Commit.

* Fixed list of supported frameworks layers.

* Small fix.

Add `"cl_cache"` preparation in test_timetest.py (#2490)

GitHub CI: Add ShellCheck (#2554)

* Add shellcheck
* Remove fetchDepth: 1

Azure CI: Add --gtest_filter=*smoke* (#2551)

Re-enable more unit tests (Resize & Interpolate) (#2331)

[GNA] Issue 39975 - cascade concat fix (#2486)

* concat input not used fix rough implementation

* [GNA] Cascade concat input not assigned fix

* reduce copying in recursive function

* [GNA] Aligned cascade concat test

[GNA] FIX CopyLayerPass for concat parent cases (#2485)

* [GNA] fix cases when layer output is used in both memory and concat parent layer

* coma fixes

* Issue-36189 CopyLayerPass for concat parent cases fix test

* Fix test for CPU

* Remove test for GPU

[GNA] Fix LSTM Cell channel C being 0 on output (#1174)

* [GNA] get output before activation test

[GNA] SubstituteScaleShiftBroadCastPass fix for cases when there are multiple scaleshifts as an output from the layer

[GNA] Generalize Fix where LSTMCell output was zero due to being fused into activation

[GNA] Fix LSTMCell being zero on channel C if being output layer

* linux build fix

Shellcheck tests for bash scripts (#2532)

* Added bash scripts checks with shellcheck

* Fixed indentations

* Fixed setupvars.sh with shellcheck

* Fixed MO scripts

* Compilation with newer versions of shellcheck

[Jenkinsfile] Bump infra (#2545)

Revert "Sync GNA lib calls to avoid multi threads and plugins crash (#2435)" (#2538)

This reverts commit 0879938250d369427c39a5403f18412ee551c4ff.

Remove `--collect_results_only` (#2509)

* Remove CLI keys from README

* Remove `--collect_results_only` from MemCheckTests

[VPU][IE] Disable ConvertMinimum transformation for Myriad Plugin (#2437)

add test results publishing (#2513)

[MO] Fix: add PermuteInputs to shape broadcasting (#2419)

* fix: add PermuteInputs to shape broadcasting

* fix type declaration typo

Sync GNA lib calls to avoid multi threads and plugins crash (#2435)

* Sync GNA lib calls to avoid multi threads and plugins crash

* Remove TODO

* Enable sync for GNA1

* Fix GNA1 sync

* Add core_threading_tests to GNA Plugin to address story 31709

Removed similar behaviour tests (#2528)

[IE][TESTS][CMAKE] Add -Wno-deprecated-copy compile flag for GTest (#2514)

It fixes build on Ubuntu 20.04 with gcc 9.3.0.

[IE TESTS] move MultipleAllocations test to nightly (#2512)

Co-authored-by: kora6 <kora6@github.com>

[DOCS] Added an evaluate method for custom operation (#2273)

* Added an evaluate method for custom operation

* Fixed comments

Feature/azaytsev/cherry pick pr2448 2469 2457 to master (#2515)

* Feature/azaytsev/cvs-38240 (#2469)

* Updated for 2020 version, replaced Ubuntu 16.04 with Ubuntu 20.04

* Updated the release package numbers

* Updated according to the comments in the ticket CVS-37827 (#2448)

* Update build-instruction.md for MacOsX (#2457)

* Update build-instruction.md for MacOsX

* Removed call of install_dependencies.sh from the steps

Update get_ov_update_message.py (#2499)

[IE CLDNN] Fix eltwise fused ops in NO_PITCH_SAME_DIMS mode (#2454)

[IE CLDNN] Fix unsupported dims number error (#2453)

Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0 (#2407) (#2504)

* Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0

   OpenCV 4.5.0

* Fix windows build

[IE Tests] Added test filters for gpuFuncTests target (#2496)

[IE Tests] Added test filters for cpuFuncTests target (#2495)

[IE Tests] Added test filters for gnaFuncTests target (#2492)

[IE Tests] Added test filters for myriadFuncTests target (#2494)

[IE CLDNN] Changed the way of using fused ops to use activation appropriately (#2415)

[IE CLDNN] Remove debug code from reference_convolve (#2493)

IECore.read_network: accept arbitrary PathLike objects and not just Path (#1611)

Azure CI: Remove azure-pipelines.yml

Relax shape inference for Split:v1 (#2444)

* Relaxed shape inference for Split

* added unit tests

* review remarks

Move passes to CommonOptimizations (#2442)

* Move passes to CommonOptimizations

* Updated BN tests to use ranges for constant value generation

* Added some decomposition passes into legacy conversion

* Added WA for FQReshapeFusion pass

Azure CI: Add separated pipelines for Windows, Linux, Mac

[GNA]specific execution order for delayer copy layer (#2117)

[GNA]specific execution order for delayer copy layer + Test