Implement LookupTableInsert shape inference (#2348)

* Implement LookupTableInsertV2 shape inference

It is needed if other nodes not beeing pruned in the graph
have a conditional dependence on LookupTableInsertV2 node.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after core-review #1

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix the code after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after code review #3

[JAVA] Fixed IECore constructor (#2685)

[IE CLDNN] DispatchData refactoring (#2508)

[CPU] CTCLoss performance improvement.

[PP GAPI] Extended plug-ins shared precision conversion tests to use (#2677)

`GetBlob()` as well

- test were extended to cover case when input tensors are copied into
Blob return by `InferRequest::GetBlob`
- channel number of input tensor is made a test parameter

Improve GNA MT sychronization (#2553)

* Sync GNA lib calls to avoid multi threads and plugins crash

* Remove TODO

* Enable sync for GNA1

* Fix GNA1 sync

* Add core_threading_tests to GNA Plugin to address story 31709

* Disable and change test description

Remove `memcheck_pregen_irs_tests` MemCheck configs due obsolescence (#2693)

Revise LRN reference implementation (#2672)

* fix typo in LRN docs

* fix link to reference in LRN doc

* LRN, LRN_IE types alignment with spec

* align LRN ref implementation to plugins behavior

* update LRN docs

* Improve LRN reference implementation performance

* restore LRN constructor with no axes in the input

* apply code format

* revert double->float size_t->int change

* small fix to example in doc

* revert double->float size_t->int in onnx_importer and backend tests

* Changes to docs after review

[opset5] ngraph implementation of Loop op (#2583)

* Loop op ngraph implementation, update IE IR Reader and ngraph to cnn converter

* refactoring SubGraphOp class

* type prop unit tests

* ngraph code style

* update comment

* single layer tests for Loop operation

* fix file name

* Add SpecialBodyPorts attribute in Loop op, update single layer tests

* add several new tests cases, strict checks in Loop impl, temporary disable single layer tests

* ngraph codestyle, refactoring, clone_new_args test

* resolve review remarks

* fix build

* fix tests

* add a new constructor of Loop op, resolve review remarks

[IE CLDNN] Added HSigmoid operation (#2700)

Improve python_wheel CMake target (#2688)

Tweaks for ONNX scoreboard (#2697)

[install_dependencies.sh] install latest cmake if current version is lower 3.13 (#2695)

* [install_dependencies.sh] install latest cmake if current version is lower 3.13

* add shellcheck for Ubuntu

* install python 2.7 for Ubuntu

Updating broken link on getting started linux doc (#2507)

Link to build instructions was broken, updated link to the correct location.

Small fix for python doc (#2696)

[GNA][Speech sample] Add option to specify blob names  (#1529)

* Added output names

* Add input, output, ref names

* Added zero scale factor

* Adding support for multiple reference files

[GNA] Fix remove layer + identity layer insertion (#2626)

* [GNA] Fix remove layer + identity layer insertion

test stub

Test impl

style

hpp style

* disable FP16 for GPU

Remove segfault marks form test_unary_op_scalar and test_range tests (#2692)

Co-authored-by: Ewa21 <ewa.tusien@intel.com>

Avoid unnecessary Reshape in ONNX Softmax impl (#2686)

Use GatherND-5 in the onnx_importer (#2634)

Added apiValidator post-build checks for WCOS compliance (#2657)

* Added apiValidator post-build checks for WCOS compiance

* WA for cmake

* Additional checks for old WDK version

[IE CLDNN] Add FP16 axes precision to Interpolate-4 (#2681)

JIRA: 40805

Workaround for Cython issue on Python 3.8 (#2684)

Set chmod +x for model_zoo_preprocess.sh

[NGRAPH] Fix UNITY build under Windows (#2678)

Reference Implementation for RegionYolo operator (#2474)

Update nGraph Python API build instructions (#2610)

Broadcast visit_attributes fix (#2649)

* Broadcast visit_attributes fix

* Broadcast: Python API adjustment

* Revert back deserialization change

[ONNX] Replace global poolings with reduce operations (#2650)

Update test_shufflenetv2 tolerance values (#2674)

* Update test_shufflenetv2 tolerance values

* Update model path

* Update models xfails

* Update mounting volumes to container

Co-authored-by: rblaczko <rafal.blaczkowski@intel.com>

ReorgYolo reference implementation (#2384)

* Align ReorgYolo to the spec (vector strides -> int stride)

* ReorgYolo ref impl

* ReorgYolo evaluate method

* ReorgYolo tests

* Tests update

* Style apply

* Add some coments

* Code refactor

* Comment update

* Style apply

* Build fix, mark evaluate as override

* Revert "Align ReorgYolo to the spec (vector strides -> int stride)"

* Use int_executable instead of evaluate

* Use char* instead of templates

* Code refactor

* Comment update

* Code review comment

* Add constructor aligned with spec

* Update shape validation

* Update attributes tests

* Add type_prop tests

* Update backend tests

* Add single layer tests

* Update the spec

* Remove wrong transformation test

[IE CLDNN] Fixes for GatherTree and ReverseSequence  (#2660)

Add hsigmoid op to ngraph (#2647)

Extend MO for operation GatherND (#2540)

* Extend MO for operation GatherND

* Update documentation

* Rename GatherNd.py to gathernd.py

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Fixed CVS-35316 (#2072)

Time tests improvements (#2642)

* Remove extra functions from run_timetest.py

* Add `log.debug` of raw and aggregated statistics in run_timetest.py

* Implement storing of models locally for test_timetest.py

Loop-5 operation specification (#2291)

The Loop-5 operation specification

Fix itt build (#2662)

setupvars.sh: Updated setting pyenv error to warning. (#2663)

nGraph implementation of NMS-5 (without `evaluate()`) (#2651)

* Written nGraph NMS-5 without evaluate().

* Used NGRAPH_RTTI_DECLARATION.

Leaky relu transformation refactor (#2640)

* Refactored LeakyRelu transformation

* Added unit test for LeakyRelu transformation + removed duplicate test function valued_const

[IE][VPU]: Added DSR_Reshape tests with dynamic output shape descriptor (#2607)

* Added DSR_Reshape tests with dynamic output shape descriptor

[IE][VPU]: TopK: Relax requirement for supporting Sort::None mode if K==1 (#2653)

* Update firmware
* Add TopK tests
* Disable some cases

Use  ittnotify built from sources (#2577)

* Use  ittnotify built from sources

ITT tracing was only possible on the platfroms supported by VTune.
Building ittnotify from sources removes VTune dependency.

ITT traces was found significantly slowdown tests execution time.
Disabling ENABLE_PROFILING_ITT by default. This is also
a current behavior of Intel Distribution of OpenVINO.

* Fix missprint

* Add include directories to itt

Provide ONNX external data mechanism to ReadNetwork (#2588)

* added unit test

* added python test

* using pword approach

* Added passing path to onnx reader

* support for wstring

* Added more tests

* Apply suggestions from code review

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* fix build for Windows

* styles applied

* Fixed Windows tests

* styles applied

* fixed styles in tests

* review remarks

* cmake order

* Used target_compile_definitions instead of add_definitions

* Move ONNX_TEST_MODELS to other scope

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

Extend nGraph for operation GatherND-5 and implement reference (#2587)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Fix using numpy scalars in Python API (#2520)

* fixed numpy scalars

* reverted tests changes

* python style fixed

[IE][VPU]: Support DTS for Split (#2576)

* [IE Tests] Remove unnecessary cout
* [VPU] Add DTS for split
* [VPU][Tests] Add tests

Move legacy transformations and ops to legacy library (#2624)

* Initial movement

* Divided transformations to common and legacy

* Changed ngraph visibility to ie_api.h

* CommonTransformaitons to Internal

* New trasnformations location structure

* fixde typo; move convert_quantize_dequantize to common

* Added control_flow folder

used native LTO support from cmake 3.9.6 (#2625)

* used native LTO support from cmake 3.9.6

* Removed compilation flags push / pop

* Fixes

* Fixes for VPU unit tests

* Temp WA for old gcc

Do reshape only if input shapes will be changed (#2632)

* Added private reshape

* Removed incorrect check

Round-5 nGraph implementation (#2652)

* Implement nGraph Round-5 operation

* Remove reference implementation

* Add shape infer tests

* Fix codestyle

Add LogSoftmax-5 to ngraph (#2645)

General code fixes (#2609)

[IE TESTS] Remove some deprecated single layer tests (#2646)

* [IE TESTS] Remove some deprecated single layer tests

* Gather Tree

[IE][NGRAPH][BUILD] Enable UNITY build for more targets (#2592)

* Avoid symbols clash due to source merging.
* Tested on Ubuntu 20.04 with GCC 9.3.0.

Plugin interface refactoring (#2591)

* Simplified plugin interface

* Allow not implemented

* Fixes

* Fixed CPU plugin tests

* Fixed tests dependencies

* Fixes

* Fixed GPU plugin compilation

* Renamed plugin

* Fixes

* Removed tests for plugin base

* Fix2

* Fix 2

* Define a macro to define plugin creation function

* Clean-up

* Fixed OSX build

* Fixed CentOS

* Removed statuscode from IExecutableNetworkInternal interface

* Interface

* Removed not used macro

* QueryNetwork returns result using return value

* LoadNetwork interface

* Fixed compilation with private plugins

* Fixed compilation when NGRAPH_INTERP is not enabled

* Return ExecutableNetwork from ImportNetwork with fileName

* Updated GetContext method

* Return exec graph information as return value

* Message about deprecation of Export with file name

* Message about deprecation of QueryState

* Updated ExecutableNetwork::GetConfig signature

* Updated ExecutableNetwork::GetMetric signature

* Updated docs

* WIP createIR

* Simplified IR creation

* CreateInferRequest returns value

* Removed GetExecutor from ExecutableNetworkThreadSafeDefault

* execDataPreprocessing is protected

* Fixed mock test

[IE CLDNN] Revert fix for profiling of multiple kernel implementations (#2219) (#2595)

GitHub CI: Add files_size.yml (#2570)

* GitHub CI: Add files_size.yml

* Update job name

[IE][BUILD] Fix C5208 warning under Windows (#2628)

* C++ feature in C `typedef struct` code.
* The warning can be promoted to error in dependent projects.

C5208: unnamed class used in typedef name cannot declare members other than
non-static data members, member enumerations, or member classes

add build option USE_SYSTEM_PUGIXML (#2502)

It allows skipping inference-engine/thirdparty/pugixml and using the
system copy instead.

Thanks to @Osse for helping understand cmake scoping rules.

Co-authored-by: Helmut Grohne <helmut.grohne@intenta.de>

Azure CI: Fix nGraph ONNX

Azure CI: Disable steps in nGraph ONNX

Azure CI: Add linux_ngraph_onnx.yml

[IE Myriad] Fix layer tests for logical_and (#2622)

Fixed ODR for LTO with gcc5 (#2615)

[MO] [Kaldi] Add TDNN Component (#1870)

* [MO] [Kaldi] Added TDNN Component

* TdnnComponent replacer graphical comment updated

* Added SpecAugmentTimeMaskComponent

* some refactor of memoryoffset shape_infer

* moved memoryoffset splitting to the middle stage

* some corrections
- set `need_shape_inferenc`=False in split_memoryoffset
- use cycle instead of pattern in tdnn_replacer

* separated splitting of MemoryOffsets in LSTM and TDNN blocks

* set transpose_weights=True in TdnnComponent

* Corrected Supported_Frameworks_Layers

* corrected comments

* separate naming for tdnn and lstm memoryoffset splits

* corrected BOM file

* corrected generaldropout_ext.py and removed 'has_default' for tdnn_component

* corrections after PR review

* renamed LSTM -> recurrent; added setting element_size for paired nodes of tdnn_memoffset and othe minor changes

* Update split_tdnn_memoryoffset.py

* corrected partial infer with new API in elemental.py and split_tdnn_memoryoffset.py

[IE TOOLS] Support of models with output port in names (#2594)

[MO] Fix ONNX Clamp-11 shape infer with no min/max inputs (#2603)

[IE CLDNN] TopK registry spill avoiding for sort-by-value mode (#2590)

Tests and docs for registering custom ONNX operators (#2416)

* Add tests, examples and documentation changes for custom ONNX operators registration mechanism

* Change snippet paths

* fix CoreThreadingTests.ReadNetwork - data race in ops_bridge

* Make TemplateExtension::Operation externally visible

* changes after review

* apply code format

* use std::int64_t

* forward declare get_attribute_value specializations

* introduce unregister_operator in onnx_importer

* onnx_custom_op - lock mem first then take a buffer

* func tests - create template_extension via make_so_pointer

* fix build with NGRAPH_ONNX_IMPORT_ENABLE=OFF

* remove exports from Operation and Extension

* Move multithreaded AddExtension test to different directory to it can be excluded when NGRAPH_ONNX_IMPORT_ENABLE=OFF

* Dont include Extension tests if ENABLE_MKL_DNN=OFF

* fix excluding onnx_reader tests

* include extension tests only if mkl is enabled

* add comment on empty blob

* use register_operator conditionally in template_extension

* fix docs after review

* create static library from onnx_custom_op

* add additional test for unregister_operator

* move model example after register step

* revert changes to unit tests

* update ngraphConfig.cmake.in header

* add headers to onnx_custom_op

* changes to docs CMakeLists

* remove redundant onnx_importer dependency

* remove extension directory from func tests

* make onnx_importer a component of ngraph package

* docs fixes

* update header of ngraph/cmake/share/ngraphConfig.cmake.in with ngraph_onnx_importer_FOUND

Fixed LTO for gcc-9 (ubuntu 20.04) (#2616)

* Fixed LTO for gcc-9 (ubuntu 20.04)

* Fixed ODR rules violation for MKLDNN deprecated functional tests

* Fixed tests build for templatePlugin

Allow to specify both in/out precision, add in/out layout in tests (#2516)

* test definitions

* CPU plugin shared tests

* CPU plugin custom tests

* GNA plugin shared tests

* GPU plugin shared tests

* MYR plugin shared tests

* TML plugin shared tests

DOCS: added code snippets compilation and fixes (#2606)

Update ONNX importer LSTM to use v5 LSTMSequence  (#2511)

Fine-Grain Transformation pipeline tuning (#2547)

* Initial version of transformation callback refactoring

* Improved fine-grain tuning for transformation pipeline

* Check disabled matchers in GraphRewrite

* Avoid deprecated classes inside PassConfig

* Enabled DepthToSpace fusion by default

* Removed doulbe search in map

* Moved back pass_config.hpp; Added doxygen documentation for new class and methods

* Added doxygen comment for Manager and GraphRewrite new mthods

Shellcheck update (#2557)

* Fixed SC2236 rules

* Fixed SC2086 rule

* Small fixes in other scripts

Add strict timeout for test execution (#2598)

ngraph python sample (#2574)

This sample demonstrates how to execute an inference using ngraph::Function to create a network
- added sample
- added readme
- added lenet weights

[MO] Fix many spelling and grammar errors (#2543)

[IE][VPU]: Added wrapper for LogicalNot layer (#2562)

Specify LogSoftmax-5 operation (#2382)

* Specify LogSoftmax operation

* Fix feedback

doc: add openvino tag link on StackOverflow (#2585)

NonMaxSuppression-5 operation specification (#2310)

* The specification of NonMaxSuppression-5.

* Replaced opset4 with opset5.

* Fixed func(iou) when soft_nms_sigma == 0.

* Now outputs of NMS-5 have dynamic shapes.

* Now inputs 3, 4, 5, 6 can be 0D or 1D tensors.

* Now output 3 is 1D tensor.

nGraph Python API tweaks and tutorial (#2471)

Specify `cl_cache_dir` env var: (#2581)

1. General behaviour doesn't work for some compute-runtime versions.
Specification of `cl_cache_dir` fixes it

Prepare new test configuration for test_timetest.py (#2561)

* Add logging of DB upload to tconf with refs saving

* Prepare `.automation/tgl_test_config.yml` with models from VPUX package

* Add restriction on `exe` and `model` existence in run_timetest.py

[IE CLDNN] Fix profiling of multiple kernel implementations (#2219)

[IE CLDNN] Refreshment of convolution_gpu_fs_byx_fsv32 kernel (#2536)

Updated ConstantFolding pass to propagate friendly name (#2572)

* Fixed concat output name when decomposing shape_of in CF

* Added friendly_name propagation for CF pass

* Propagate runtime info inside ConstantFolding pass

* Fixed rt info merge strategy to avoid cases when merge is not implemented but attributes number is equal to 1

increase http timeout for artifacts uploading (#2571)

[IE Tests] Added NormalizeL2 tests (#2327)

* Added NormalizeL2 tests

* Added NormalizeL2 reference

* Add nGraph tests

* Fix tests

* Added NormalizeL2 builder

Add specification for Round operation (#2238)

* Add specification for Round operation

* Create opset5.md file

* Resolve review comments

* Remove useless formula section from specification

* Update specification

* Update Round specification

* Resolve review comments

Add HSigmoid spec (#2412)

* Add HSigmoid spec

Timetests test_runner improvements (#2552)

* Remove `generate_tmp_path` as unnecessary after refactoring

* Add `check_positive_int` check for `-niter` CLI key

* Replace `TestConfDumper` with number of fixtures:
1. Save all test info in global `request` and `pytestconfig` fixtures
2. Add `test_info` fixture for retrieving test info from test
3. Add `prepare_tconf_with_refs` fixture for test conf dump

Port 2021.1 documentation updates for GNA plugin and speech libs and demos. (#2564)

* Update docs for speech libs and demos (#2518)

* [GNA] Documentation updates for 2021.1 (#2460)

* [GNA] Documentation updates for 2021.1

* Take Mike's comments into account

* More fixes according to review

* Fix processor generation names

[IE][TOOLS] Improvements for compile_tool (#2555)

* Split cmd arguments onto sections (common, MYRIAD, FPGA).
* Add `-iol` cmd argument as `-iop` analogue for layouts.
* Remove limitations over `-ip`, `-op`, `-iop` arguments.
  Now they supports full meaningfull set of Precision/Layout values and will allow to user set any precision for any input/output.
  The applicability for this in under user reponsibility and support under plugin reponsibility.
* Add VPUX default configuration.
* Adjust code style to the project common style.

Co-authored-by: Alexander Novak <sasha-novak@yandex.ru>

ngraph docs to master (#2568)

* First draft of nGraph documentation

* updated according to review comments

* Updated

* Reviewed the nGraph Transformation section, added missing images

* Update nGraph_dg.md

* Delete python_api.md

Removed since there is already the nGraph_Python_API.md document with a comprehensive overview.

* Fixed links to images

Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>
Co-authored-by: CCR\avladimi <anastasiya.ageeva@intel.com>

CTCGreedyDecoder reference implementation (#2284)

Update SW requirements in build instructions and change latest release to 2021.1 (#2566)