Specify operation CTCLoss-4 (#1189)

* Specify operation CTCLoss-4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct documentation for CTCLoss after #1 review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct documentation for CTCLoss after #2 review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct documentation for CTCLoss after #3 review

* Correct documentation for CTCLoss after #4 review

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct layout for logits and add more description for unique attribute

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct types for length and indices tensors

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Correct formulas and punctuation

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Adjustment of layouts to choose optimal deconvolution (#781)

Header length for supported model detection is increased (#1340)

Added default multi threaded configuration (#1310)

* Added default multythreaded configuration

* Fixed typo

[IE Myriad] Remove Myriad 2 from supported devices in XLink (#1331)

remove nGraph deprecated methods (part 1) (#1314)

* Remove remove_goe

* Remove traverse_nodes

* Removed deprecated constructors

* Removed deprecated tensor methods

* Fixed IE build

* Fixed code style

[IE][VPU][nGraph]: Enables merging subsequent DSR operations (#1326)

Myriad plugin treats DSR operation in a way removing such operations
and connecting inputs with each other (replacing output with one of them).
Semantic of connection is one inputs contains shape of another.
Since the same data object can have exactly one shape it's prohibited
to have DSR inputs connected with another data objects
(the only allowed exception is inputs that are already connected between
each other).

As a result of nGraph -> CNN conversion some operations could be optimized
out which in turn could lead to subsequent DSR operations where each has
its own shape sub-graph. Even if shape sub-graphs are identical it's not
visible to plugin that sees incorrect inputs (inputs of DSR are already
connected, but now with each other, when second DSR is parsed).

To overcome such issue (the reason is when operations are optimized out,
their shape sub-graphs are still there), additional ngraph
transformation should be introduced to merge subsequent DSR into single
DSR operation.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[IE][VPU][nGraph]: Fixes Reshape's shape infer method (#1327)

Previously, if Reshape had input pattern with values [0, -1] - it
propagated dynamic shape through a function. At the same time,
taking "0" and "-1" interpretation into consideration, it turns out
in such cases we could just propagate the same input shape in case of
2D input.

For Faster-RCNN this fix makes static dimensions on dynamic paths static.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[IE][VPU][nGraph]: Fixes StridedSlice DTS (#1328)

* In case of Begin/End/Stride inputs of StridedSlice have rank less
than input data rank - remaining dimensions must be kept unchanged.
* Previous, implementation had UB in such cases - out of bound
vector element access

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Add Input and Output class to Py API (#1284)

[ONNX] Exception handling refinements. (#1266)

[IE Common][Tests] saturated_cast: refactoring & tests (#1304)

* [IE Common] Refactor saturated_cast

* [IE Common][Tests] Add tests for saturated casts

* [IE Common] Review fixes

* [IE Common] Make enable_if check a template parameter

Reverse Sequence code clean up (#1303)

Added mish layer doc opset (#1149)

* Added mish layer doc opset

* Refactoring mish spec

* Update mish spec

* Change output description of Mish layer

* Fix Mish according to review

* Refactoring Mish and GELU spec according to code review

* Update formula for ops in spec

* Refactoring spec text

* Update Mish opset

* Change Mish version from 1 to 4

* Sort opset4

Co-authored-by: Your Name <you@example.com>

Specify, review and approve operation Interpolate-4 (#1035)

* Added documentation for Interpolate-3.

* Some fixes.

* Fixed some typos.

* Now Interpolate-3 is Interpolate-4.

* Fixed typo.

* DEleted unused 'mode' 'area'.

* Fixed some typos.

* Now 'axes' attribute is an input of Interpolate.

* Added description of variants of nearest_mode.

* Added descriptions of coordinate transformation modes.

* Now 'axes' is an optional input.

* Fixed typo.

[IE TESTS] Add ShapeOf SingleLayerTest (#1285)

* [IE TESTS] add single layer test ShapeOf

* [IE TESTS] update for master

* [IE TESTS] add subgraph test

* [IE TESTS] update todo in skip_tests_config

* [IE TESTS] update skip_tests_config

* [IE TESTS] update skip_tests_config

* [IE TESTS] update opset3

update system requirements (#1321) (#1322)

* update system requirements

* update release version in readme

Fix that brings back the MULTI's ability to add/remove devices (to the priorities list) on the fly. Presumably was lost during refactoring. (#1309)

the point is that we should check the ORIGINALLY (largest) list of the devices (actually ExecutableNetworks for them) to see if the device is just added back

[LPT] FuseFakeQuantizeAndScaleShift transformation for last layer fix (#1291)

* [LPT] FuseFakeQuantizeAndScaleShift transformation for last layer fix

* [LPT] refactoring

* [LPT] FuseFakeQuantizeAndScaleShift test: last layer name validation was added

[IE CLDNN] WA to use bfyx format if applicable for bf(w)zyx Gather input (#1056)

[IE CLDNN] Disable inserting reorders if num_dims mismatch (#1023)

Add OpenVINO-ONNX CI check (#688)

[IE][VPU][Tests]: Fix M2 on deprecated tests for StridedSlice (#1300)

* Disable reorder in Myriad2 cases in StridedSlice deprecated_tests

[ONNX] Quantize linear using FakeQuantize (#1169)

Enable importing of TF_NASNet_Mobile (#1252)

Removed max pool v0 (#1277)

* Removed MaxPool v0

* Removed atan2

* Removed and operation

Added U32 precision (#1297)

[IE CLDNN] Optimize kernel cache memory usage in GPU plugin (#1233)

[IE][VPU][nGraph]: Enables dynamic Reshape with non-const pattern support in myriad plugin (#1159)

* [IE][nGraph]: Introduces PartialShape ctor from values vector

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU][nGraph]: Moves evaluateTargetShape to common utilities

The same functionality - get upper-bound shape estimation for dynamic
input - is needed in dynamic Reshape along with dynamic Broadcast.
Return value type has been changed from PartialShape to vector<int64_t>.
The reason is Reshape encodes special values (0, -1) into input values
that define output shape. Representing those values (which upper-bound
provides evaluateTargetShape) as PartialShape leads to incorrect
representation vector with -1 as dynamic shape - which is not expected.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU][nGraph]: Introduces StaticShapeReshape

In comparison with original Reshape StaticShapeReshape propagates
upper-bound shape through a function in case of dynamic input. To do so,
shape inference method gets upper-bound shape from evaluateTargetShape,
decodes special values (0, -1) in it and then propagate the result.

Output shape processing happens only once, because if shape inference
were called after ShapeOf operations have been optimized out on dynamic
path, then evaluateTargetShape will require evaluate method for all
operations that appear in function before current Reshape. Since
evaluate method is implemented not for all operations it lead to
Faster-RCNN compilation error.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU][nGraph]: Updates Reshape DTS on StaticShapeReshape

In case of non-const Reshape input that defines output shape DTS uses
StaticShapeReshape which propagates upper-bound shape evaluated from
this input through a function.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU][nGraph][Tests]: Refactoring DTS Reshape tests

The only changes are:

* header files include reordering
* indentation/wrapping fixing

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU][nGraph]: Moves ShapeOf transformation out of DTS scope

In comparison with DTS ShapeOf transformation needs to work on whole
function. Separating these 2 transformations makes testing easier since
now it's possible to call specific DTS without ShapeOf transformation
and vice versa.

Also DynamicToStaticShapeOf has been renamed into
EliminateShapeOfAfterDSR since transformation doesn't introduce new DSR
operations.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [VPU][Tests]: Introduces DTS Reshape tests with non-const pattern

New StaticShapeReshape constructor has been added as well, since test
fixture should create it from reshape parameters, not reshape itself.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

fix strided slice neg out of bounds ends (#1177)

[IE Samples] Add api arg to classification sample (#943)

[IE CLDNN] LRN int8 fsv16 optimizations (#814)

JIRA: 32367

[CPU] Add check quantize ranges (#850)

[IE][VPU]: adjust batch - support dynamic number of iterations (#1114)

* support dynamic number of iterations in "AdjustBatch" pass
* add unit tests for this case

Throw special exception if IR v7 is passed, but no IR v7 reader (#1293)

Optimisations for binary operations broadcast. Phase 2. (#1295)

Remove old Scatter operations (#1265)

[IE][VPU][GT]: Process StridedSlice stage on device as one kernel (#1244)

* Remove replacement of StridedSlice with other stages and execute it on device as one kernel.
* Refactor strided slice tests to be able to parametrize it by precision.
* Update firmware.

[TESTS] Added Comparison and Logical single layer tests (#1242)

Removed adjoints (#1269)

[GNA] Support in GNA plugin for power layer with non-1 exponents (#997)

* added support for power layer with non-1 exponents to GNA plugin

* reverted a change caused by merge issue

* fixes for review comments (typo fix - lrelu instead of leru, unnamed structure instead of of named one in union with arguments of activation function, name fix - input instead of inputs),

scale-shift implementation based on affine layer instead of PWL,

* fixed code style

* fixes for coding style in scale_factor_calc.hpp

* added domain for power function

* fixed review comment - power function specific methods

* added check if dynamic casting was successful

* removed I16 as it is not supported by ngraph

* fixed initialization per review comment

[GNA] MemoryStateImpl (#839)

* [GNA] fix query state for GNAMemoryState

* [GNA] MemoryState implementation:

Fix shared tests
Fix smoke tests
fix SetState
Implement LastState
Fix Reset

* Move getPrecision() to GNAMemoryState

Change Smoke Reset() test to check resetting one state

* [GNA] add dequantize to getLastState()

* code refactor

Co-authored-by: Anna Alberska <anna.alberska@intel.com>
Co-authored-by: kmagiers <kmagiers@intel.com>

Add nGraph-ONNX tests (#1215)

Implement ScatterND operation in MO and transform for SparseToDense (#584)

SparseToDense used in Wide and Deep model is expressed through ScatterND operation.
ScatterND is more functional than SparseToDense. Hence, it was decided to replace SparseToDense
with ScatterND. ScatterND is more useful for other models.

Remove SparseToDense from the previous opset

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

Simplified usage of CNNNetworkIterator (#1260)

[IE Common] Replace static_cast with saturated one (#1257)

[CPU] ScatterUpdate ScatterElementsUpdate and ScatterNDUpdate support (#909)

* scatter_update_series_enable

* scatter_update_series_enable

* add single layer tests

[IE TESTS] Added single layer test "Ceiling" (#1271)

[IE][VPU]: Remove dataToShape edges from unsued data (#1213)

* Check equality of shape data for the replaced and replacement input/output data in the model
* Connect data with shape in duplicateData method
* Disconnect shape with data which is being removed as unsued.
* Check that disconnected shape still have child dataToShape edges or consumers
* Refactor cleanUp to use removeUnsuedData and not duplicate code

Add python API codeowners (#1254)

[IE CLDNN] Added Mish operation (#1125)

Fix the __repr__ function for dynamic shapes (#1210)

Swish operation specification (#1200)

* Add Swish operation specification

SoftPlus operation specification (#1128)

* Add SoftPlus operation specification

[nGraph] Fix reshape builder if target shape is scalar (#1206)

[nGraph] Allow to use protobuf lite in onnx importer (#687)

ONNX Imagescaler op (#1262)

* ONNX ImageScaler op

* UT for ImageScaler op

Enable importing TinyYOLOv2 (#1121)

* Fixed bugs in TinyYOLOv2 ops

* Added tests

* styles applied

* styles applied

* code review remarks introduced

* code review remarks (unit tests added)

Move arithmetics spec from v1 to v4 spec docs (#1230)

* Move atanh asinh acosh to opset4

* Update opset3 tables

[IE TESTS] Added single layer tests (#1137)

[LPT] Eltwise Prod transformation fix (#1135)

* [LPT] Eltwise Prod transformation fix

* [LPT] ngraph Multiply lp transformation test

Fixed RTTI issues for ngraph::Variant (#1258)

Use ngraph.hpp in samples and documentation (#1240)

[IE TESTS] dynavic batch for mvn layer (#1010)

* [ci-skip][IE TESTS] dynavic batch for mvn layer

* update instance v0

* [ci-skip][IE TESTS] update instance for mvn layer

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] add dynamic batch for singleLayer basic class

* [ci-skip][IE TESTS] update dynamic batch for singleLayer basic class

* [ci-skip][IE TESTS] removing bathFlag

* [IE TESTS] removing bathSize

* [IE TESTS] refactor dynamic batch in basic class

* [IE TESTS] refactor dynamic batch in basic class

Conversion via CNNNetworkImpl ctor (#1222)

* Added ctor for CNNNetworkImpl to convert from ngraphImpl

* Re-use in all places instead of manual conversion

* Hide convertToCNNNetworkImpl usage

* Remove useless test

* Fixed Gleb's comments

[IE Tools] Update tools with new Python API (#944)

The supported models detection improvement (#1235)

* The supported models detection improvement

* Unit test for supported models detection

Fix MemCheckTests failures caused by change in OMZ models scope (#1214)

Run only models available in OMZ to prevent failures
Remove person-reidentification-retail-0031.xml from configs

[Python API] setting and getting preprocessing info through InferRequest (#1009)

Refactoring: remove unneeded typedef from DetectionOutputAttrs struct. (#1231)

Removed all and allreduce layers (#1182)

* Removed all and allreduce layers

* Removed reference implementations

Add new parameters to compile-tool (#1153)

fix build target name in demos for Windows (#1253)

[Stress] Move logging after all computations of `progress_str` (#1226)

ONNX DequantizeLinear op (#1123)

* DequantizeLinear 10 as a subgraph

* Enable DequantizeLinear from opset 13

* Exclude the failing tests

* Re-enable dequantize linear UTs

* Validation helper

Removed And operation (#1183)

[IE TESTS] Add Convert, ConvertLike single layer tests. Refactoring `Range` (#1212)

[IE TESTS] Add Multi, hetero and Cpu plugin as dependecies to the functional tests (#1234)

Preprocessing(GAPI): Universal intrinsics (AVX2) implementation of U8C1 linear Resize. (#942)

* Preprocessing(GAPI): Universal intrinsics (AVX2) implementation of U8C1 linear Resize

* Refactoring

Removed ArgMax ArgMin (#1181)

Fix const node non-deterministic names (part 2) (#1081)

* Fix non-deterministic node names generation in the Model Optimizer (part 2)

Removed nGraph experimental operations and headers (#1197)

Added IR v7 reader dependency for functional tests (#1238)

[GNA] Added support configuration of nthreads and quantization bits (#1059)

Add assert for Clip-11 (#795)

Stick to isort==4.3.21 (#1223)

[CPU][TESTS] Disabled sporadically failed Core treading test on Windows (#1227)

[IE CLDNN] Addition of eltwise support for different input sizes. (#640)

Windows build fix (#1225)

Optimisations for binary operations broadcast (#1058)

Removed BatchNotmTraining (#1185)

Remove atan2 (#1184)

[IE CLDNN] Fix input feature padding handling in dw conv fsv16 kernel (#1217)

[IE CLDNN] Add additional check for local block io support (#1211)

This change is needed, because some ocl compiler versions may advertise
support for extension, but fail to compile some of the functions.

Use include headers in unit tests (#1216)

[MKLDNN] Fixed bias datatype in jit_uni_dw_conv kernel (#1131)

Deprecated cnn layer (#1138)

* Deprecated getInputTo, getCreatorLayer

* Fixes

* Fixed ie_layers moving to legacy

* Fixed onnx importer dependency

* Fixed python

* Fix python API compilation

* Added comments not to use _impl from Data

Co-authored-by: Nadezhda Ageeva <nadezhda.ageeva@intel.com>

Empty dimension means Dimension::dynamic() (#1171)

[ BTS & STB ] Fixing broken transformations (#874)

Add FakeQuantize op to ONNX importer (#1099)