Fix testcase CheckExecGraphInfoSerialization (#2973)

* Generate unique output file names in CheckExecGraphInfoSerialization testcase.

When multiple instances of this test were executed in parallel the same
file was accessed by multiple threads which was the cause of flakiness.

* Enable ExecGraphTests.CheckExecGraphInfoSerialization on GPU

Update Custom_Layers_Guide.md (#2964)

Update misspelling on ONNX

Fix serialization of execution graph. (#2901)

* Fix serialization of execution graph.

* Add exec graph comparison.

* Align execution graph serialization to old aproach.

* Revise error massages.

* Fixed execution graph comparison.

Now only attribute names are compared since values can differ on
different devices.

* Readability refactoring.

* Refactoring regarding readability.

[IE CLDNN] Added inference precision into execution graph (#2913)

[CPU] CTCLoss sporadic issue. (#2934)

* [CPU] CTCLoss sporadic issue.

* [Tests] Enable CTCLoss tests.

[IE CLDNN] Add asymmetric quantization support to fsv16 imad general convolution kernel (#2778)

[IE CLDNN] Convolutition optimizations for small channels count (#2849)

[ONNX][PyTests] Fix result datatype missmatch (#2596)

Expand ONNX functions to sub-graphs before import (#2733)

Co-authored-by: Bartosz Sledz <bartosz.sledz@intel.com>

Azure CL: Improve yaml (#2951)

* Azure CL: Improve yaml

* Fix installing requirements

* Add run onnxImporterUnitTests

[IE] Add batched blob support (#2203)

* [IE] Add batched blob support

New `class BatchedBlob : public CompoundBlob` defined to allow to pass multiple blobs as 1 InferRequest input.

Motivation: There is the special user case when a number of plain images (e.g. `NV12Blob`) should be passed as one input for network which batch size > 1.

`class CompoundBlob` is not applicable for such cases due to:
1. `NV12Blob` is `CompoundBlob` which prevents to combine multiple NV12 images to a CompoundBlob
2. The default behavior in most of plugins - do not accept generic CompoundBlob as `SetBlob()` argument

Adding `SetBlob(name, vector<Blob::Ptr>...)` to `class IInferRequest`, `class InferRequest`, `class IInferRequestInternal`, ...  - is not effective solution due to limited and specific use cases for `batched inputs`.

+ Apply rule-of-zero to CompoundBlob and inherited classes.

* Add "BATCHED_BLOB" optimization capability metric

* Add BatchedBlob usage to hello_nv12_input_classification

* Apply offline code review outcome:

1. Revert CompoundBlob public .ctors signatures
2. Remove 'workaround' .ctor for `BatchedBlob`
3. Revert tensor descriptors of `I420Blob` `NV12Blob` back to the 'fake' value.

* Code review fix

* Add functional tests for CPU, GPU, MULTI, HETERO

* update doc comment

* Apply code review change requests.

Updated requirements dependency (#2950)

Sigmoid revise (#2942)

* remove sigmoid_backprop

* Update Sigmoid spec

* Update Sigmoid spec

[IE TESTS] Fix reg exp for issue 42029 (#2957)

Aligned python read_network() with C/C++ behaviour (#2916)

Aligned python read_network() with C/C++ behaviour

Excluded mandatory check of weights file, it is redundant

* Added unit tests

Added info on DockerHub CI Framework (#2918)

[GNA] Set default compact_mode (#2895)

Add IR reader test for hsigmoid op (#2825)

* Add IR reader test for hsigmoid op

* update ir

* Fix decomposition

* Update hsigmoid ir reader test

* Update unit test

* fix test

[IE CLDNN] Fix X/Y swap in NV12 shared surface input layout (#2949)

Abort previous builds on PR update (#2877)

[IE][VPU]: Support for Bidirectional mode in Broadcast DTS (#2873)

* [VPU][DTS] Update broadcast DTS to support BIDIRECTIONAL mode
* [VPU][Tests] Update tests with inference
* [VPU][Tests] Extend DTS tests

[IE][VPU]: Interpolate - reuse "interp", "resample" layers (#2932)

Reuse existing "interp", "resample" layers
task: #-29955

Fixed README (#2948)

Fix cases when identities inserted identites are separated by nonFunctional layers (#2771)

Handle multiple GNA devices and modes HW/SW (#2720)

* Introduce Gna2DeviceGetCount

* Check for the number of GNA devices

* Add Gna2DeviceGetCount() mock

[GNA] Added export input/output names (#2601)

* [GNA] Added export input/output names

* fix comment

* Change version

Remove obsoleted v0::Reshape operator (#2878)

* Remove obsoleted v0::Reshape operator

* Fix handling negative dims on 32 bit platforms

Change-Id: Ia18e20df9a79fd0b7b38c434bee7140599833952

* apply code format

Change-Id: I4ddfb9e7033cbc97e167922f6ee5873d5487e551

Added check in hello sample (#2896)

* Added check in hello sample

* move check before inference

Compilation with MSVC for ARM (#2928)

* Enable compilation with MSVC for ARM / ARM64

* Condition fix

Added transformation config to support automl efficientdet models (#2894)

* Added transformation config to support automl efficientdet-4 model

* Added configuration file to convert Automl EfficientDet model

* Updated unit test for Pack

* Added instruction on how to convert EfficientDet Tensorflow model

* Updated documentation on how to convert EfficientDet model

* Updated a documentation with instruction on how to convert Automl EfficientDet.

[CPU] Added eltwise Round-5 (#2347)

Fixed FAST build mode (#2926)

[IE TESTS] Split Layer Test refactoring (#2915)

Co-authored-by: kora6 <kora6@github.com>

Remove remaining Myriad-2 references (#2853)

* Fix Myriad firmware copying command for multi-target cmake generators

* Remove remaining Myriad-2 references

* Remove remaining Myriad-2 compute stick from documentation

Change pip install documentation (#2884)

Visitor API deserialization - create models for ops (#2889)

* add tests for 11 operators, which compare V7 and V10 version of the model optimizer

* add test for space_to_depth model

[IE CLDNN] Fixed unitialized parameters in resample primitive which led to kernels recompilation (#2923)

Unmark passed ONNX test

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] One more trivival loop test

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] Fix case with unused port in Loop body

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] One more trivial test case on Loop

Also fixed compilation with gcc4.8

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] Improve replication of passthrough Loop body

There was some problem with replicatioon of simple loop body where
input was used as output as is.

Also was voided usage of special prefixes like "in_" for Loop body inputs.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Min. Additional assert in copyTIBoody

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] Several more Loop test with static shapes

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[CPU] implement Loop specification of TI node

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[NG] Keep special purposes port info in Loop after conversion to legacy

Also:
Simplified logic of data object name restoring. Avoid duplicatin of input ports
in case of multiple consumers. Provided code has WA comment in corresponding
naming restore section. Also added WA section with restore U8 precision for ouputs.
Avoid to eliminate limitation of CNNNetwork converter.

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[TEST] improve data utils

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Avoid '-' symbol for test name

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Loop tests enabled back

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

[IE] Improve Network topological sort in case of disconnected graph

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Improve CopyTIBody util to cover disconnected graphs

Signed-off-by: Alexander Peskov <alexander.peskov@intel.com>

Remove obsoleted v0::StopGradient op (#2935)

refactor one-hot nGraph backend test (#2578)

Avoid verbose return-type warnings (#2420)

nGraph backend tests refactor: gather, numeric (#2367)

Fixed compilation errors / warnings with clang (#2929)

Remove obsoleted v0::Or operator (#2857)

* Remove obsoleted v0::Or operator

* apply style format

Remove deprecated v0::Round op (#2905)

Remove deprecated v0::Reverse op (#2899)

* Remove deprecated v0::Reverse op

* fix unit tests

* add include for std::inserter

Temporarily skip ExecGraphTests.CheckExecGraphInfoSerialization on GPU (#2921)

* Skip ExecGraphTests.CheckExecGraphInfoSerialization on GPU

* [execution_graph_tests] Add test skipping macro

* Add missing import

Adding sinks to ngraph::Function (#2741)

* initial draft of adding sinks to ngraph::Function

* style fixes

* code style fixes

* code style fixes

* code style fix

* review fix+build fix

* code style fix

* fix build

* API changed according to latest discussion

* review fixes

* review fixes + tests

* added 1 more ctor

* style fixes

* used new api in ir parser

* fixed build

* review fixes

* remove validate_nodes_and_infer_types from remove_sink/remove_result

* removed validate_.. after discussion

* style fix

[IE][VPU]: GatherND layer & tests (#2710)

* GatherND layer & test
* Update vpu firmware 1452

[LPT] nGraph nodes naming fix (#2822)

* [LPT] functional tests: FakeQuantize with dynamic intervals

* [LPT] decomposeFakeQuantize: removed debug info

* [LPT] Add NetworkHelper::mark_as_dequantization_op function

[ngraph] Fix compare runtime info function

[LPT] Fix test cases with no DEQUANTIZATION runtime attribute

[LPT] Change include path for dequantization op

* [LPT] Remove Subtract functional test, enable and rename legacy tests

Co-authored-by: Vladislav Golubev <vladislav.golubev@intel.com>
Co-authored-by: Aleksandr Pertovsky <aleksandr.pertovsky@intel.com>

Added support for Visual Studio VERSIONINFO (#2900)

* Generate vs_version file

* Fixed comments

* Fixed comments

Fixed cmake stage with BUILD_SHARED_LIBS=ON (#2914)

Fixed compilation with ENABLE_V7_SERIALIZE=ON (#2898)

* Fixed compilation with ENABLE_V7_SERIALIZE=ON

* Removed legacy code

added OpenVINO Model Server to docs (#2541)

* added OpenVINO Model Server

* updated documentation to include valid links

* minor fixes

* Fixed links and style

* Update README.md

fixed links to model_server

* more corrections

* dropped reference in ie_docs and minor fixes

* Update README.md

Fixed links to Inference Engine pages

Co-authored-by: Alina Alborova <alina.alborova@intel.com>
Co-authored-by: Andrey Zaytsev <andrey.zaytsev@intel.com>

[IE CLDNN] Added int8 output suppirt into bfyx_to_fsv16 fp kernel (#2906)

[IE CLDNN] Fix for some unwanted behaviour in layout optimizer (#2669)

[MO] Add CMake install for Model Optimizer (28291) (#2831)

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] Add CMake install for Model Optimizer

* [MO] Update test for version.py

* [MO] fix file permissions for install location

[IE][VPU][Myriad]: NMS layer optimization; support big buffers (#2839) (#2839)

* Myriad: new firmware version (1445)

[IE][VPU][GT]: Fixes Eltwise+ReLU merge for dynamic networks (#2777)

Eltwise + ReLU merge is expected to be performed unconditionally
in all cases and since it does not require strides to be defined
could be performed before adjustDataLayout pass.

Unfortunately, there are cases with unexpected degradation after
such a change is introduced. In specific case it seems to be
caused by degradation in HW operation (convolution). It was not
investigated completely and reason is still unknown (convolution
itself remains unchanged in network, but for some reason works
slower).

It has been decided to introduce change only in case of dynamic
models to have performance benefit for some cases and avoid
degradations in others.

Moving mergeEltwiseAndReLU pass before adjustDataLayout for
dynamic cases allows to get additional performance gain due to
lack of extra copy stages introduced in adjustDataLayout.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Improve ngraph python api in debug mode (#2836)

* Update MacOS machine

* Update setup.py

* Add debug statement

* Improvements

* Update ngraph/python/setup.py

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>
* Rollback the last change

Co-authored-by: Michał Karzyński <4430709+postrational@users.noreply.github.com>

Removed legacy travis script (#2888)

* Removed legacy travis script

* Removed legacy variables

[IE CLDNN] Fixed compilation error for tutorial samples (#430)

Co-authored-by: Kobe Yu <kobe.yu@kneron.us>
Co-authored-by: Alexander Zhogov <alexander.zhogov@intel.com>

[IE][VPU][GT]: Introduce Split by dynamic dimension check (#2802)

* [IE][VPU][GT]: Introduce Split by dynamic dimension check

At the moment, myriad plugin does not support split operation
by dynamic axis. To be sure there is no issue with optimized-out
split operation which should have been replaced with copy
stage - assertion before DTS transformation is introduced.

Check should be performed before loop with DTS transformations
because it requires dynamic context (dynamic dimension should be
visible as dynamic), otherwise dynamic dimension would be
replaced with upper-bound estimation and check will always pass.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][nGraph]: Fixes normalize_axis symbol exporting

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Remove operators with existing functional tests from layer creator (#2772)

* Remove 49 operators from layer creator

* Remove debug code

* Add specificCreator for deconvolution

* add specificCreator for logical not

* Fix concat creator behavior for negative axis

* add creator for TopK, overrides for visit_attribute methods

* remove layerCreator templates for removed ops

* Disable exception check for Deconvolution and TopK

* add specificCreator for stridedSlice

* add specificCreator for DetecionOutput

* resolve conflict with batchNormInference changes

* fix detection output visit_attributes for some of the bools

* Remove Ceiling from LayerCreator

* Change detectionOutput param validation to expect bool instead of uint

* detectionOutput specificCreator to set bool params as int strings

* Add vector of integer value accessor handling to xml deserializer.

* Fix indentation

Remove obsoleted v0::ReplaceSlice (#2887)

Remove obsoleted v0::Not operator (#2846)

* Remove obsoleted v0::Not operator

* restore tests from ngraph/test/backend

Serialization of experimental and custom ops (#2862)

* Add IEGeneric node type handling.

* Remove dependency on plugin_api library.

IEGeneric type name is passed via Visiotr API as new syntetic atribute.

* Add custom operations support

* Fix charachter literals comparison.

* Pass custom opsets to CNNNetwork:serialize().

IE extensions are stored in ngraph CNNNetwork and later used to pass
custom opsets to serialization transformation.

* Refactor custom ops tests to use template_extension library.

* Add comment on __generic_ie_type__ purpose.

Fixed convertFunctionToCNNNetwork to support non unique names (#2864)

* Unique names normalization during nGraph to CNNNetwork conversion

* Added tests

* Code refactoring

Update MemCheckTests OMZ part: get_testdata.py and configs (#2722)

[CPU] Enable GatherND tests in ONNX. (#2904)

[IE CLDNN] Added 6d crop support (#2841)

[Python API] Remove IENetLayer class (#2755)

* [Python API] Remove IENetLayer class

* fix tests

* fix tests

* remove importing ngraph from several tests

[CPU] GatherND implementation. (#2757)

[IE CLDNN] Disabled fusing into eltwise node for fsv32 layout (#2844)

Fix visual appearance (#2148)

Improve support ONNX Resize-10 created by PyTorch (#1350)

[IE][VPU][TESTS] Fix vpu split with unusable outputs & test (#2718)

* Fix vpu split with unusable outputs & test

Co-authored-by: kora6 <kora6@github.com>

[IE][VPU][DTS][Tests]: Remove WAs for networks with multiple outputs (#2828)

* Remove WAs for networks with multiple outputs

Removed forced CMAKE_VERBOSE_MAKEFILE (#2891)

Fixed issue #41619 (#2827)

* Fixed issue #41619

* More descriptive error message

Split java CMakeLists.txt into several ones (#2734)

* Split java CMakeLists.txt into several ones

* Replaced openjdk to OpenJDK

* Build Java library before tests

Updated apiValidator rules (#2785)

* Updated apiValidator rules: added custom filter to emulate BinaryExclusions.xml

* temp

* Temp

* debug log

* Print a message about success

* Fixed file name

Fix for collision of #1932 and #2731 (#2890)

Revise ReLU (#2863)

* remove relu_backprop

* Update ReLU spec

* change inputs and outputs subsections of ReLU spec

* Update Mathematical Formulation subsection

* Update Category of ReLU in spec

* Update Short description of ReLU in spec

[CPU] Add tests for SetBlob + I64 (#2402)

Remove obsoleted Min, Max operators (#2832)

Removed InferenceEngine dependency on Legacy library (#1932)

* Split libraries

* Small fixes

* Fixes after self-review

* Minimized legacy usage

* Fixed IE_CPU.onnx_prior_box

* Fixed linkage

* Temp WA for private plugins

* removed comments

* Reverted OneHot changes back