ONNX Model runner (#1415)

Removed redundant methods from function and util (#1505)

Implemented inference in template plugin (#1308)

* Implemented inference in template plugin

* Fixed tests

* Removed thirdparty dependency

* Simplified executor configuration

* removed half

* Fixed cmake

* Fixed ngraph node check

* device blob allocation

* Fixed enum error

Treat 1d single-element tensors as scalars. (#1498)

InterpolateWithConcat pass fix (#1501)

* Fix InterpolateWithConcat pass

* Add test for None case

[IE][VPU]: Enable conv_3x3s1p1_vgg test for ma2085 (#1486)

Add atanh to onnx importer opset4 (#1425)

[IE] Add Blob::createROI method (#882)

* Add default implementation that throws exception.
* Implement `createROI` for `TBlob` and existing compound blobs.
* Use reference couting for TBlob memory buffer to prolong its life time for ROI blobs.
* Add private extension for ND ROI and use it as implementation detail for now:
  * Add `DimSlice` and `TensorSlice` structures for generic ND ROI support.
  * Add `make_roi_desc` function to create `TensorDesc` for ROI.

Removed IInferencePluginAPI interface (#1497)

* Removed legacy library includes from plugin api headers

* Removed IInferencePluginAPI interface; merged with IInferencePlugin

* Removed pluginAPIInterface usage in Core implementation

Remove old transformation passes (#1463)

Removed NgraphData (#1416)

Tests for keep_constant_inputs (#1366)

* First variant of tests for keep_constant_inputs

* Redone tests to check number of inputs

* Count inputs of layer via ngraph::Function

* Add additional transformations for CNNNetwork

* Modified work with CNNNetwork via iterators

* Add tests for FullyConnected Network

* Rename function for counting of inputs

* Debug output was deleted

* transformations_callback was removed

* Change ASSERT_GT on ASSERT_EQ

Removed v0 operations from AlgebraicSimplufication pass (#1481)

* Removed v0 operations from AlgebraicSimplufication pass

* Fixed tests

Fixed incorrect logic in detection of result shape for convolution (#1444)

* Fixed incorrect logic in detection of result shape for convolution

* Added test

nGraph Transformations refactoring (#931)

This PR introduces next changes:
1. Transformations *_tbl.hpp files were replaced with direct registration in cpp files.
2. Plugins use pass::Manager to call conversion passes.
3. Transformations callback was moved to PassBase class as there is no more need to keep it in separate class
4. All pattern based transformations must be inherited from MatcherPass class. GraphRewrite class will be used only for matchers registration and execution on function.
MatcherPass class adds new features to pattern-based transformations approach:
* Allows to run matcher pass on a single node.
* Operations that were created inside transformation callback can be added to execution list to be available for pattern matching within single GraphRewrite.
5. GraphRewrite MatchClosure was replaced with MatcherPass. So all matchers will be registered as a MatcherPass.
6. Added pass::Manager::clear_state() method to avoid dependency with nodes that no longer belongs to function after replacement.
7.  Some representative transformations were updated to use MatcherPass as an example.
8.  Mul->Add sequence fusion transformation was replaced with LinOpSequenceFusion.
9. Pattern and callback registration code was moved to class c-tors (will be finished for remaining passes in other PR) .
10. Updated pass::Manager to get pass names only when NGRAPH_PROFILE_PASS_ENABLE enabled.
11. Moving towards removing PassProperty.
12. Added ngraph::pattern::wrap_type<T>(inputs, pred) to simplify pattern creation.
13. GraphRewrite was updated to execute MatcherPass more efficient.

setupvars: Added post_training_optimization_toolkit to PYTHONPATH (#1492)

GitHub CI: Disable/remove set_pr_labels

Preprocessing(GAPI): Universal intrinsics (AVX512) implementation of linear Resize 8UC1 (#1132)

[IE CLDNN] Fixed gemm fusings with FP precision (#1490)

Adds first inference time measurements in benchmark_app (#1487)

Add support (limited, based on Interpolate-1) to Resize-11 ONNX op (#1364)

* Implementation of Resize-11

* Added support to sizes input

* Add tests to sizes input

* Added missing comment

* fixed tests

* fixed tests

* Fixed test. part 2.

* review remaks. part 1.

* review remarks. part 2.

Co-authored-by: Tomasz Socha <tomasz.socha@intel.com>
* Added more tests

Co-authored-by: Tomasz Socha <tomasz.socha@intel.com>

[IE CLDNN] Add b_fs_fsv16 concat optimizations (#1452)

1. Add fsv16 int8 support to optimized kernel
2. Optimize fsv16 concat kernel
3. Add graph optimization to improve concat alignment

Issue: CVS-28494

[IE NGRAPH] Remove default values in InterpolateAttr structure (#1484)

Add tests for ArgMin/ArgMax with float inputs (#1429)

Removed v0 CropAndResize and EmbeddingLoop operations (#1450)

[IE CLDNN] Improvements for SpaceToDepth (#1454)

[IE TESTS] Add Interpolate single layer test (#1456)

Removed BroadcastDistributed (#1430)

Specification for RNN/GRU sequences (#1426)

* Specification for RNN/GRU sequences

* update opset4 list

[IE CLDNN] fix warnings from gcc-9 compiler (#1431)

GitHub CI: set_pr_labels - runs every 4 hours

Fix the case with nodes containing ":" in names (#1089)

* Fix the case with nodes containing : in names

* Raise error in case of several possibilities

Add ONNX DequantizeLinear to MO (#1250)

* Add ONNX DequantizeLinear to MO

* Update docs

[IE TESTS] Add Minimum tests (#1470)

[DL Workbench] Move files to another guide (#1443)

* [DL Workbench] Moved files to another guide

* Fixed indentation

GitHub CI: Fix issues in check_pr.py

Add input transposing for MatMul (#1462)

Specify Range-4 operation (#1180)

GitHub CI: Change secret

GitHub CI: Add set_pr_labels (#1467)

* GitHub CI: Add set_pr_labels

* Change to run every 10 min

* Update names

Add acosh asinh atanh to opset3 ngraph (#1278)

* Add acosh, asinh and atanh to opset4

Add asinh to onnx importer opset4 (#1436)

GitHub CI: Add Python scripts for controlling organization (#1437)

[IE][VPU]: Added Mish layer (#1158)

* Add Mish stage in GraphTransformer
* Add Mish per-layer tests

Network serializer for v7 is removed (#1414)

* Network serializer for v7 is removed

* Fixed compilation

* Fixed Windows build

* WA for GPU

* Create function 2 times

* Fixed compilation

* Added return

support parallel nested nnet for Kaldi (#1194)

* supported nested nnet1 for Kaldi

Update Reduction operations specification (#1446)

Remove deprecated methods from node (#1369)

Update ShapeOf extender (#1406)

Documentation updates (#1433)

Corrected message about deprecated IR version (#1438)

Add ONNX SpaceToDepth and DepthToSpace extractor (#1122)

* Add ONNX SpaceToDepth extractor

* Add DepthToSpace ONNX extractor

[IE][VPU][GT]: Change begin and end masks serialization for StridedSlice (#1417)

* In order to support cases when begin and end size is less than input rank, the serialization was changed.
* Add tests
* Update firmware

Updated fluid to 4.3.0 (#1422)

[Stress] Redesign of MemCheckTests (#650)

* [Stress] Redesigned MemCheckTests: 1. Added MemCheckPipeline to incapsulate measures and logging. 2. Moved references to array

* [Stress] Added tracking of THREADS in MemCheckTests

[IE][VPU][NGraph] Move dynamic NMS from common to vpu folder (#1409)

* [IE][VPU]: Moves UpgradeNMS4ToNMSDynamic transformation into myriad plugin

* [IE][VPU]: Moves UpgradeNMS4ToNMSDynamic from common to vpu folder

* [IE][VPU]: Moves Dynamic NMS from common folder to vpu

* [VPU]: Makes NMS conversion unconditional

* [VPU][NGraph]: Changes dynamic NMS base class from v3 to v4

* [VPU]: Moves NMS4toDynamic transformation before common optimization

[IE CLDNN] Shrink reshapes (#1362)

Fixes LFS issues (#1440)

* Removed non-LFS images to reload them to LFS

* Reload images to LFS

* Reload images to LFS

[IE Myriad/35383] vpu_profile is removed (#1393)

Test fix import of ONNX model in serialized Protobuf binary format. (#1355)

* Try fix parsing error.

* Small exception refinements during importing model.

* More exception refinements.

* Skip segfaulting tests.

* More clear error types and messages. Func rename.

* Fix typo.

* Check on CI whether test_onnx will work.

* Add only those file which pass tests or have failing ones skipped.

Extend nGraph for operation CTCLoss (#1236)

* Extend nGraph for operation CTCLoss

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fixes as per comments

Co-authored-by: Nikolay Shchegolev <nikolay.shchegolev@intel.com>

Replaced copy_with_new_args() to clone_with_new_inputs() (#1395)

Expose OpSets as part of nGraph PythonAPI (#1261)

Update list of tests passing/failing using TestCase on IE backend (#1161)

[Stress] Small improvement of scripts (#1302)

* [Stress] Extend CLI with arguments checks for compare_memcheck_2_runs.py

* [Stress] Extend requirements.txt with PyYAML

Removed ie_deprecated.cpp from legacy library (#1419)

Removed CNNLayer entries from ie_common.h (#1420)

* Removed useless header include

* Removed CNNLayer entries from ie_common.h

Removed is_parameter, is_constant and is_output (#1408)

Removed redundant licenses (#1392)

* Removed redundant licenses

* Added protobuf license

CMAKE: added ie_libraries target (#1411)

[IE CLDNN] Gemm int8 with slm optimization. Fused ops fix (#1319)

[IE TESTS] Added single layer test Mish (#1401)

Pre-processing(GAPI): ARM(NEON) integration + Split, Merge, Color conversion kernels on NEON (#1315)

Split CNNlayer validators (#1403)

* Simplified CNNLayer validators: keep only parsing of arguments

* Added validators as is

* Removed parsing arguments

* Removed Backetize validator

[IE][VPU]: Added Gelu layer (#1195)

* Implement Gelu stage in GraphTransformer
* Disable GeLU decomposition in the nGraph transformations

Removed addLayer implementation from ngraph impl (#1400)

Remove redundant node methods (#1324)

* Remove placement

* Removed validate and infer eltwise

* Remove is eltwise

* Remove support broadcast and decompose

* Removed is_op, is_parameter, is_pattern

* Fixed code style

* Added is_constant and is_output

* Removed is_communicative and is_null

* Fixed code style

* Fixed typo

* Fixed comments

* Fixed typo

* Revert is_parameter, is_output, is_result for OpenCV build

Fix for issue (#1335)

Header length for supported model detection is increased (#1363)

Add mish op to ngraph (#1187)

* Add mish op to ngraph

* Update mish op

* Set v4 namespase for tests

* Add mish to cmake

* Add comments for mish op.

* Refactoring code style

* Update version to v1 for Mish op

* Add value propogation test for Mish op

* Refactoring mish op according to review

* Fix mish version

* Update cmake file

* Fix mish value propogation unit test

* Add unit test for mish op

Co-authored-by: Your Name <you@example.com>

Doc Migration (master) (#1377)

* Doc Migration from Gitlab (#1289)

* doc migration

* fix

* Update FakeQuantize_1.md

* Update performance_benchmarks.md

* Updates graphs for FPGA

* Update performance_benchmarks.md

* Change DL Workbench structure (#1)

* Changed DL Workbench structure

* Fixed tags

* fixes

* Update ie_docs.xml

* Update performance_benchmarks_faq.md

* Fixes in DL Workbench layout

* Fixes for CVS-31290

* [DL Workbench] Minor correction

* Fix for CVS-30955

* Added nGraph deprecation notice as requested by Zoe

* fix broken links in api doxy layouts

* CVS-31131 fixes

* Additional fixes

* Fixed POT TOC

* Update PAC_Configure.md

PAC DCP 1.2.1 install guide.

* Update inference_engine_intro.md

* fix broken link

* Update opset.md

* fix

* added opset4 to layout

* added new opsets to layout, set labels for them

* Update VisionAcceleratorFPGA_Configure.md

Updated from 2020.3 to 2020.4

Co-authored-by: domi2000 <domi2000@users.noreply.github.com>

Added default constructor for RNNCellBase, fix conversions (#1370)

ONNX CI: add docker image cleanup (#1394)

* change stage name
 * add docker image cleanup

Add getting/setting friendly name for Node wrapper Py API (#1286)

Reference implementations for ReduceLogicalAnd & ReduceLogicalOr (#1333)

Add Acosh operator to ONNX importer opset4 (#1351)

[Stress] Integrate compare_memcheck_2_runs call in run_memcheck.py (#1036)

* [Stress] Define Database constant arguments in memcheck_upload.py only

* [Stress] Simplify computations using HashableDict in `compare_memcheck_2_runs`

* [Stress] Add comparison using pandas

Removed tests for old IR reader (#1368)

Removed v0 fused operations (#1263)

ReduceLp operation specification (#1205)

* Add ReduceL2 operation specification

* Add example

* Update operation specification

* Update operation specification

* Update operation specification

* Update operation specification

* Update types in operation specification

[nGraph][Py][Tests] Remove backup of old models (#1349)

CODEOWNERS: Add .ci & docs

[IE][VPU][GT]: Use topological order in shape allocation (#1281)

* Some pass creates datas duplicate with a different order from time to time (because of unordered_set usage). It leads to a different order in model->datas() list and affects the shape allocation process which relies on this order.
* Make shape allocation be relied on topological order of datas which is stable and doesn't depend on order datas creation during different passes.

Fix unsafe use of CPU_ISSET_S macro. (#1357)

Don't increment mapped_idx via prefix increment within the argument of the
potentially unsafe CPU_ISSET_S macro. If the macro is expanded so that the
increment expression is evaluated multiple times, it will return unexpected
results.

While the glibc implementation of CPU_ISSET_S macro seems to be safe, the musl
libc (v1.1.23) version is unsafe and will evaluate the first argument of
CPU_ISSET_S three times.

Co-authored-by: Christian Priebe <cp3213@ic.ac.uk>

Remove get_arguments (#1323)

* Removed get_arguments

* Fixed code style

[IE][VPU]: CMX limit compile option (#1268)

In some networks, mvTensor would request a large CMX-DMA transfer (<512K). That starves DMA for other timing critical tasks such as SIPP. Limit CMX-DMA request size as an option in myriad_compile:
* Add compile option TILING_CMX_LIMIT_KB
* Declare compile option TILING_CMX_LIMIT_KB in IE tools (compile_tool and vpu_compile)
* Add tests for compile option TILING_CMX_LIMIT_KB. Small fix for naming behavior tests.

Azure CI: Fix cloning git submodules (#1356)

fix: inference-engine/ie_bridges/python/sample/requirements.txt to reduce vulnerabilities (#1007)

The following vulnerabilities are fixed by pinning transitive dependencies:
- https://snyk.io/vuln/SNYK-PYTHON-NUMPY-73513

Co-authored-by: snyk-bot <snyk-bot@snyk.io>

[IE TESTS] Add PReLu single layer test (#1306)

* [IE TESTS] Add PReLu single layer test

* [IE TESTS] Small refactoring of test infrastructure

* [IE TESTS] Add shape for activation

Revert "Header length for supported model detection is increased (#1340)" (#1354)

This reverts commit 5b2ec7840ac3c5c1d1ec107e50e499f22c9fe7a6.