[MO] Fix ONNX Clamp-11 shape infer with no min/max inputs (#2603)

[IE CLDNN] TopK registry spill avoiding for sort-by-value mode (#2590)

Tests and docs for registering custom ONNX operators (#2416)

* Add tests, examples and documentation changes for custom ONNX operators registration mechanism

* Change snippet paths

* fix CoreThreadingTests.ReadNetwork - data race in ops_bridge

* Make TemplateExtension::Operation externally visible

* changes after review

* apply code format

* use std::int64_t

* forward declare get_attribute_value specializations

* introduce unregister_operator in onnx_importer

* onnx_custom_op - lock mem first then take a buffer

* func tests - create template_extension via make_so_pointer

* fix build with NGRAPH_ONNX_IMPORT_ENABLE=OFF

* remove exports from Operation and Extension

* Move multithreaded AddExtension test to different directory to it can be excluded when NGRAPH_ONNX_IMPORT_ENABLE=OFF

* Dont include Extension tests if ENABLE_MKL_DNN=OFF

* fix excluding onnx_reader tests

* include extension tests only if mkl is enabled

* add comment on empty blob

* use register_operator conditionally in template_extension

* fix docs after review

* create static library from onnx_custom_op

* add additional test for unregister_operator

* move model example after register step

* revert changes to unit tests

* update ngraphConfig.cmake.in header

* add headers to onnx_custom_op

* changes to docs CMakeLists

* remove redundant onnx_importer dependency

* remove extension directory from func tests

* make onnx_importer a component of ngraph package

* docs fixes

* update header of ngraph/cmake/share/ngraphConfig.cmake.in with ngraph_onnx_importer_FOUND

Fixed LTO for gcc-9 (ubuntu 20.04) (#2616)

* Fixed LTO for gcc-9 (ubuntu 20.04)

* Fixed ODR rules violation for MKLDNN deprecated functional tests

* Fixed tests build for templatePlugin

Allow to specify both in/out precision, add in/out layout in tests (#2516)

* test definitions

* CPU plugin shared tests

* CPU plugin custom tests

* GNA plugin shared tests

* GPU plugin shared tests

* MYR plugin shared tests

* TML plugin shared tests

DOCS: added code snippets compilation and fixes (#2606)

Update ONNX importer LSTM to use v5 LSTMSequence  (#2511)

Fine-Grain Transformation pipeline tuning (#2547)

* Initial version of transformation callback refactoring

* Improved fine-grain tuning for transformation pipeline

* Check disabled matchers in GraphRewrite

* Avoid deprecated classes inside PassConfig

* Enabled DepthToSpace fusion by default

* Removed doulbe search in map

* Moved back pass_config.hpp; Added doxygen documentation for new class and methods

* Added doxygen comment for Manager and GraphRewrite new mthods

Shellcheck update (#2557)

* Fixed SC2236 rules

* Fixed SC2086 rule

* Small fixes in other scripts

Add strict timeout for test execution (#2598)

ngraph python sample (#2574)

This sample demonstrates how to execute an inference using ngraph::Function to create a network
- added sample
- added readme
- added lenet weights

[MO] Fix many spelling and grammar errors (#2543)

[IE][VPU]: Added wrapper for LogicalNot layer (#2562)

Specify LogSoftmax-5 operation (#2382)

* Specify LogSoftmax operation

* Fix feedback

doc: add openvino tag link on StackOverflow (#2585)

NonMaxSuppression-5 operation specification (#2310)

* The specification of NonMaxSuppression-5.

* Replaced opset4 with opset5.

* Fixed func(iou) when soft_nms_sigma == 0.

* Now outputs of NMS-5 have dynamic shapes.

* Now inputs 3, 4, 5, 6 can be 0D or 1D tensors.

* Now output 3 is 1D tensor.

nGraph Python API tweaks and tutorial (#2471)

Specify `cl_cache_dir` env var: (#2581)

1. General behaviour doesn't work for some compute-runtime versions.
Specification of `cl_cache_dir` fixes it

Prepare new test configuration for test_timetest.py (#2561)

* Add logging of DB upload to tconf with refs saving

* Prepare `.automation/tgl_test_config.yml` with models from VPUX package

* Add restriction on `exe` and `model` existence in run_timetest.py

[IE CLDNN] Fix profiling of multiple kernel implementations (#2219)

[IE CLDNN] Refreshment of convolution_gpu_fs_byx_fsv32 kernel (#2536)

Updated ConstantFolding pass to propagate friendly name (#2572)

* Fixed concat output name when decomposing shape_of in CF

* Added friendly_name propagation for CF pass

* Propagate runtime info inside ConstantFolding pass

* Fixed rt info merge strategy to avoid cases when merge is not implemented but attributes number is equal to 1

increase http timeout for artifacts uploading (#2571)

[IE Tests] Added NormalizeL2 tests (#2327)

* Added NormalizeL2 tests

* Added NormalizeL2 reference

* Add nGraph tests

* Fix tests

* Added NormalizeL2 builder

Add specification for Round operation (#2238)

* Add specification for Round operation

* Create opset5.md file

* Resolve review comments

* Remove useless formula section from specification

* Update specification

* Update Round specification

* Resolve review comments

Add HSigmoid spec (#2412)

* Add HSigmoid spec

Timetests test_runner improvements (#2552)

* Remove `generate_tmp_path` as unnecessary after refactoring

* Add `check_positive_int` check for `-niter` CLI key

* Replace `TestConfDumper` with number of fixtures:
1. Save all test info in global `request` and `pytestconfig` fixtures
2. Add `test_info` fixture for retrieving test info from test
3. Add `prepare_tconf_with_refs` fixture for test conf dump

Port 2021.1 documentation updates for GNA plugin and speech libs and demos. (#2564)

* Update docs for speech libs and demos (#2518)

* [GNA] Documentation updates for 2021.1 (#2460)

* [GNA] Documentation updates for 2021.1

* Take Mike's comments into account

* More fixes according to review

* Fix processor generation names

[IE][TOOLS] Improvements for compile_tool (#2555)

* Split cmd arguments onto sections (common, MYRIAD, FPGA).
* Add `-iol` cmd argument as `-iop` analogue for layouts.
* Remove limitations over `-ip`, `-op`, `-iop` arguments.
  Now they supports full meaningfull set of Precision/Layout values and will allow to user set any precision for any input/output.
  The applicability for this in under user reponsibility and support under plugin reponsibility.
* Add VPUX default configuration.
* Adjust code style to the project common style.

Co-authored-by: Alexander Novak <sasha-novak@yandex.ru>

ngraph docs to master (#2568)

* First draft of nGraph documentation

* updated according to review comments

* Updated

* Reviewed the nGraph Transformation section, added missing images

* Update nGraph_dg.md

* Delete python_api.md

Removed since there is already the nGraph_Python_API.md document with a comprehensive overview.

* Fixed links to images

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>
Co-authored-by: CCR\avladimi <anastasiya.ageeva@intel.com>

CTCGreedyDecoder reference implementation (#2284)

Update SW requirements in build instructions and change latest release to 2021.1 (#2566)

Specify GatherND-5 operation (#2414)

* Specify GatherND-5 operation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Update ie_docs.xml with GatherND-5

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Test results publishing to Azure DevOps v2 (#2539)

* do not merge results
* add Linux and Mac publishing

Moved WA for legacy includes to dev package (#1712)

* Moved WA for legacy includes to dev package

* Fixed compilation

* Fixed compilation

* Fixes

Added ONNX Resize-11 to supported layers in documentation (#2324)

* Commit.

* Fixed list of supported frameworks layers.

* Small fix.

Add `"cl_cache"` preparation in test_timetest.py (#2490)

GitHub CI: Add ShellCheck (#2554)

* Add shellcheck
* Remove fetchDepth: 1

Azure CI: Add --gtest_filter=*smoke* (#2551)

Re-enable more unit tests (Resize & Interpolate) (#2331)

[GNA] Issue 39975 - cascade concat fix (#2486)

* concat input not used fix rough implementation

* [GNA] Cascade concat input not assigned fix

* reduce copying in recursive function

* [GNA] Aligned cascade concat test

[GNA] FIX CopyLayerPass for concat parent cases (#2485)

* [GNA] fix cases when layer output is used in both memory and concat parent layer

* coma fixes

* Issue-36189 CopyLayerPass for concat parent cases fix test

* Fix test for CPU

* Remove test for GPU

[GNA] Fix LSTM Cell channel C being 0 on output (#1174)

* [GNA] get output before activation test

[GNA] SubstituteScaleShiftBroadCastPass fix for cases when there are multiple scaleshifts as an output from the layer

[GNA] Generalize Fix where LSTMCell output was zero due to being fused into activation

[GNA] Fix LSTMCell being zero on channel C if being output layer

* linux build fix

Shellcheck tests for bash scripts (#2532)

* Added bash scripts checks with shellcheck

* Fixed indentations

* Fixed setupvars.sh with shellcheck

* Fixed MO scripts

* Compilation with newer versions of shellcheck

[Jenkinsfile] Bump infra (#2545)

Revert "Sync GNA lib calls to avoid multi threads and plugins crash (#2435)" (#2538)

This reverts commit 0879938250d369427c39a5403f18412ee551c4ff.

Remove `--collect_results_only` (#2509)

* Remove CLI keys from README

* Remove `--collect_results_only` from MemCheckTests

[VPU][IE] Disable ConvertMinimum transformation for Myriad Plugin (#2437)

add test results publishing (#2513)

[MO] Fix: add PermuteInputs to shape broadcasting (#2419)

* fix: add PermuteInputs to shape broadcasting

* fix type declaration typo

Sync GNA lib calls to avoid multi threads and plugins crash (#2435)

* Sync GNA lib calls to avoid multi threads and plugins crash

* Remove TODO

* Enable sync for GNA1

* Fix GNA1 sync

* Add core_threading_tests to GNA Plugin to address story 31709

Removed similar behaviour tests (#2528)

[IE][TESTS][CMAKE] Add -Wno-deprecated-copy compile flag for GTest (#2514)

It fixes build on Ubuntu 20.04 with gcc 9.3.0.

[IE TESTS] move MultipleAllocations test to nightly (#2512)

Co-authored-by: kora6 <kora6@github.com>

[DOCS] Added an evaluate method for custom operation (#2273)

* Added an evaluate method for custom operation

* Fixed comments

Feature/azaytsev/cherry pick pr2448 2469 2457 to master (#2515)

* Feature/azaytsev/cvs-38240 (#2469)

* Updated for 2020 version, replaced Ubuntu 16.04 with Ubuntu 20.04

* Updated the release package numbers

* Updated according to the comments in the ticket CVS-37827 (#2448)

* Update build-instruction.md for MacOsX (#2457)

* Update build-instruction.md for MacOsX

* Removed call of install_dependencies.sh from the steps

Update get_ov_update_message.py (#2499)

[IE CLDNN] Fix eltwise fused ops in NO_PITCH_SAME_DIMS mode (#2454)

[IE CLDNN] Fix unsupported dims number error (#2453)

Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0 (#2407) (#2504)

* Update fluid to 7c22cd49a7eb76ae1d9606672ee467fb52383de0

   OpenCV 4.5.0

* Fix windows build

[IE Tests] Added test filters for gpuFuncTests target (#2496)

[IE Tests] Added test filters for cpuFuncTests target (#2495)

[IE Tests] Added test filters for gnaFuncTests target (#2492)

[IE Tests] Added test filters for myriadFuncTests target (#2494)

[IE CLDNN] Changed the way of using fused ops to use activation appropriately (#2415)

[IE CLDNN] Remove debug code from reference_convolve (#2493)

IECore.read_network: accept arbitrary PathLike objects and not just Path (#1611)

Azure CI: Remove azure-pipelines.yml

Relax shape inference for Split:v1 (#2444)

* Relaxed shape inference for Split

* added unit tests

* review remarks

Move passes to CommonOptimizations (#2442)

* Move passes to CommonOptimizations

* Updated BN tests to use ranges for constant value generation

* Added some decomposition passes into legacy conversion

* Added WA for FQReshapeFusion pass

Azure CI: Add separated pipelines for Windows, Linux, Mac

[GNA]specific execution order for delayer copy layer (#2117)

[GNA]specific execution order for delayer copy layer + Test

Fix virtual class inheritance for single layer test detection output (#2472)

doc: add docker ci link to README.md (#2483)

Hide input redirection error (#2473)

timeout cmd can throw an input redirection error in background mode.
Replaced default timeout() with custom function delay()

Added closing braсket (#2466) (#2479)

Fixed syntax error (b4b03b1)

Support operation Interpolate-4 in OpenVINO (#1596)

JIRA: 26973

Downgrade cmake for samples (#2372) (#2434)

* Downgrade cmake for samples

Downgraded cmake version to default version for Ubuntu 18.04

* Updated supported python version

The minimal python version in 2021.1 is 3.5

* Added notes about cmake requirements for samples and demo

Support references in test_timetest.py (#2431)

Support DB reporting for test_timetest.py (#2359)

[Cherrypick] Remove the deprecation notice (#2408)

* cherry-pick 1/2

* Removed deprecation notice

Host tensor 2 vector refactor (#2443)

Add support for custom ONNX GroupNorm operator (#2267)

drop unnecessary cmake dependency on ext_gtest (#2389)

ngraph_test_util links libgtest, which depends on ext_gtest already.

Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>

Replace absolute links to docs.openvinotoolkit.org by relative ones (#2439) (#2461)

* Replaced direct links to docs.openvinotoolkit.org with relative links

* Replaced direct links to docs.openvinotoolkit.org with relative links. Added GSGs for Win and macOS

* Minor fixes in GSGs

* Replaced direct links to docs.openvinotoolkit.org with relative links

* Removed links to OpenVINO markdown files that contain anchor - they don't work in the current implementation of the doc process

* Fixed Notes

* Removed links to OpenVINO markdown files that contain anchor - they don't work in the current implementation of the doc process

* fixed link to installing-openvino-linux.md

MKLDNN nodes factory improvements (#2252)

[GNA] fixed conversion from fp16 to fp32 networks in case of const blobs (#2446)

don't attempt to install an external tbb (#2390)

Co-authored-by: Vladislav Vinogradov <vlad.vinogradov@intel.com>
Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>
Co-authored-by: Vladislav Vinogradov <vlad.vinogradov@intel.com>

Add wget retry (#2455)

* Add wget retry

Make CMake download more tolerant to network issues

* Sync log message

Add MSFT models to OpenVino ONNX CI check (#2377)

* Add MSFT models to OpenVino ONNX CI and update xfails

* Update paths

* Fix typo and update xfails

* Unset xfails to check current behavior

* Update:
* add MSFT models to preprocesing script
* update xfail names

* Final update of xfail test cases

* Update xfail paths

* Update xfails

* Uncomment part of preprocesing script

* Update script

* Add cleaning support for MSFT preprocesing

* Add -e option to script help

* Initilze variables

* Update ngraph/python/tests/test_onnx/model_zoo_preprocess.sh

Fix a mistake

Co-authored-by: Tomasz Socha <tomasz.socha@intel.com>
* Update ngraph/python/tests/test_onnx/model_zoo_preprocess.sh

align spaces

Co-authored-by: Tomasz Socha <tomasz.socha@intel.com>
Co-authored-by: Tomasz Socha <tomasz.socha@intel.com>

[GNA] clear input scale factor from configuration for imported model (#2172)

* [GNA] clear input scale factor from configuration for imported model

* add test

* [GNA] add warning for using imported scale factors

[IE][TESTS] Test params generator: fixed conversion from map of vectors into vectors of pairs in case of empty vector. (#2445)

Added link options for cross-compilation (#2399)

Remove xfail_issue_36533 from ngraph tests (#2436)

[CMAKE] Introduce FASTER_BUILD experimental feature (#2438)

It uses CMake 3.16 built-in utilities to speed up build time:

* Unity builds
* Precompiled headers

The feature is controlled via `ENABLE_FASTER_BUILD` CMake option (disabled by default).
The option avaialble only on CMake >= 3.16.
The feature is enabled per-target via `ie_faster_build` function.

Some observations:

* Don't have actual numbers for compile time, but subjectively can see
  speed up locally with VS 2019.
* Unity builds gives much more effect, but has some restriction on source files,
  so are not used everywhere.

Fix tile layer test header (#2315)

[IE][VPU]: Disables data type check of temp buffer in LSTMCell (#2423)

Added support of external data for ONNX Importer (#2303)

Fixed canStartSeveralAsyncInsideCompletionCallbackWithSafeDtor (#2404)

Return REQUEST_NOT_READY if GNA Wait returns busy status (#2401)

* Return REQUEST_NOT_READY if GNA Wait returns busy status

* Apply fixes from review