v1::AvgPooling type prop unit tests (#2013)

[CPU] fix: supported Tile with more than 5 dims (#2062)

* [CPU] Extend Reduce node to support blocked layouts nC[d]hw8/16C (#580)

[IE CLDNN] Grouped convolution kernel improvement (#2063)

Remove list of the supported ops by ONNX Importer (#2061)

[IE CLDNN] Fix the order of dimensions in reshapes inserted by Select primitive (#2082)

VPU: update firmware version to 1354 (#2087)

Refactored legacy code for mean_scale_values transformations (#1936)

* Remove move_to_preproc. Not actual.

* Updated documentation

[IE][VPU]: Fix behavior tests for MXpcie (#1879)

* Moved mem type patching under USB protocol switch
* Myriad beh tests fix

Ngraph improvements (#2058)

Move FakeOutput resolving to back phase (#2033)

[IE CLDNN] Fixed fsv16 lrn kernel with fp16 input (#2086)

Handle Split axes as i64 (#2079)

[IE CLDNN] Fixing blocked format opting for strided_slice (#2073)

[IE CLDNN] Disable unsupported blocked formats for softmax (#2049)

[IE CLDNN] Reduce performance drop fix (#2065)

[IE CLDNN] Enable bfyx fully_connected for large batches (#1996)

This change enables fully_connected to use bfyx format for large
batches, when optimized bf_tiled kernel best performance.

Fix fusing Multiply node with Convolution in case group != 1 (#1882)

* Fix fusing Multiply node with Convolution in case group != 1

* Add transformation test

* Do not fuse if not possible to reshape const

* Update fuse_linear_ops.py

Make pybind more verbose in debug on windows (#2045)

* Make pybind more verbose in debug on windows

* Remove the NDEBUG flag everywhere

* Code complexity reduction...

* Missing colon

* And now the missing empty line...

* Reusable functions

* Now the mood of the sentence was wrong...

* Free functions instead of methods

HostTensor2Vector (#2027)

* Add host_tesnor_2_vector() implementation and unit tests. One reference OP refactored to use it.

* Ngraph assertion message refactored.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>
* Fix style.

Co-authored-by: Tomasz Dołbniak <tomasz.dolbniak@intel.com>

[CPU] Disabled several non-valid static assertions (#2055)

[PP GAPI] - Generic precision conversion kernel (#1897)

- U16toF32 conversion kernel converted to more generic ConvDepth one
- U16 <-> F32 conversion only are supported for now
- kernel is not used in the preprocessing graph yet
- tests are extended

Enable force shape inference in RNNSeqNormilize transformation (#2069)

fix for typo in src/inference_engine/CMakeLists.txt (#1988)

[IE][VPU]: Introduces annotations of stages memory types (#1991)

* Moves splitLargeKernelConv tests to unit tests

Originally, file with tests has been placed in a wrong place
so it was not integrated into any testing application.
Now it is a part of unit tests on VPU.

Test itself has been disabled due to issue with NCE unit usage
described in #-33366

* Introduces pass I/O memory types annotation of stages

It is useful to see where inputs and outputs are located in
performance report for analysing possible issues.

* Introduces endsWith and tuple2Vector utilities

endsWith checks if source has suffix equals to second
argument. tuple2Vector converts tuple of arbitrary size
containing the same type to vector. It could be useful
working with gtest parameter generators that have
std::tuple as return type.

* Introduces unit tests on annotating stages memory types

* Introduces missing format placeholders

* Makes memory types annotation optional

Enables private option "enableMemoryTypesAnnotation" which
disabled by default. Disabling annotation by default allows
avoid issues with tests which rely on stages names.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

[GNA] Fix Activation output size not matching convolution if padded. (#1980)

* Fix Activation output size not matching convolution if padded.

* Fix input padding handling in Convolution

* fix static bug

* Use correct value for feature rotation.

* [GNA] Fix regression

* Added tests

* Added tests

Fixed speech demo compilation issue on 2021.1 and models are updated to IRv10 (#2029)

[IE][VPU]: Reduce XLink log level in AOTBehaviorTests (#2044)

[IE CLDNN] Fix performance degradation for brain-tumor-segmentation-0002 (#2038)

JIRA: 37933

Co-authored-by: Egor Churaev <egor.churaev@intel.com>

[IE][VPU]: Fix for Swish layer (#2034)

* Fix Swish layer serialization.
* Added shared test for Swish
* Firmware update 1326 -> 1349

Add Mish with SoftPlus transformation (#1815)

* Add Mish with SoftPlus transformation

* Refactoring accrding code review

* Add softplus to mish pass registration

* Add checks customer count for SoftPlus and Tanh ops

Hetero plugin dump dot file using ngraph pass (#2042)

* Hetero plugin dump dot file using ngraph pass

* Removed unused code

* Fixed color Index

* reverted prcision forwarding

[CPU][BF16] bf16 for Gemm or MatMul was enabled (#1920)

[CPU] Interpolate operation implementation (#1465)

[IE CLDNN] Fix i8 regression on single-image-super-resolution-1032 (#1990)

LSTMCell/Sequence v1, reference implementations and decompose transformations for LSTM/GRU/RNN Cells (#2000)

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* transpose,rnn cell reference implementations

* Apply PR review remarks

* reference implementations for cells op, single layer tests, align lstm cell/sequence according to the spec

* lstm/gru/rnn cell decompostion transformations

* ngraph codestyle

* clean up

* ngraph code style

* change inheritance of Cells, fix build

* fix build

* fix build again

* remove Peepholes from LSTMSeq, fix copy_runtime_info in transformations

* Rewrite tests to use gtest exception assertions.

* resolve tests issues

* ngraph codestyle

* add missed files

* fix typeprop tests

* fix lstm sequence checks

* fix arm build

* fix arm again

* delete unnecessary file

* add convert weghts format function, enable lstm test, resolve review comments

* add ngraph builders

* ngraph codestyle

* fix unit tests

* revert transpose reference implementation

* revert LSTM Cell v0, add LSTMCell v1, update transformation lstm_cell_to_cell_ie

* v1 version of LSTMCell op

* LSTMSequence v1 operation, exclude LSTMSeq from opset4

* fix python api tests

* resolve review comments, tests for decomposition transformations, switch lstm cell to opset4 in mo

Co-authored-by: Szymon Durawa <szymon.durawa@intel.com>

Removed builders from public API (#2059)

* Removed builders from public API

* Fixed build

First time to inference POC (#1964)

Reverted conversion of Resize-10 to Interpolate-4 in ONNX Importer. (#2048)

* Reverted conversion of Resize-10 to Interpolate-4. Now Resize with opset version < 11 generates Interpolate-1 again.

* Corrected tests.

[IE][VPU]: allocate maximum shaves for mish activation (#1995)

* Mish activation calculation costs more time than memory copy, so
allocate more shaves mish activation.

Co-authored-by: Jiang, Renzhi <renzhi.jiang@intel.com>

[IE CLDNN] Fix result storing in leftover's branch (#2050)

[IE CLDNN] Fallback to FP16 for non-quantized layers in quantized FP16+INT8 IR (#941)

[IE][VPU][Watchdog]: Reduce CPU usage for idle VPU (#2030)

AVX2/AVX512 32FC1 Resize (#1788)

Fixed visitor for Interpolate-1 and Interpolate-4 (#2051)

* Fixed visitor for Interpolate-1 and Interpolate-4

* Code style fix

* Remove unnecessary changes

* Fixed compilation on Linux for Atttribute visitor of vector<size_t>

* Added unit test for IE IR Reader for Interpolate-4

* Updated unit test for IR Reader for Interpolate-4

* Updated unit test

[Python Tools] Replace use of layers in cross-check-tools (#1803)

Fix version print (#2022)

* Fix version print

fixed python & glib vers differences (#2057)

Fixed a case with empty order in transpose op (#2043)

* Fixed a case with empty order in transpose op

* Fixed comments

* Fixed transpose tests

* Fixed tests

[GNA] Move old headers (#2002)

[GNA] Fixed case of unconnected output of split layer (#1344)

[GNA] Fixed case of unconnected output of split layer

[GNA] Fixed case of unconnected output of split layer

test

[GNA] Fixed case of unconnected output of split layer

fixed

Fix ConvBiasFusion pass for some rare cases (#2032)

* Extended ConvMultiplyFusion tests with bias fusion

* Updated ConvBiasFusion with precise constant validation

* Fix ConBiasFusion tests

* Updated eltwise fusion tests

* Changed test parameters

Removed attrs prefix for some layers (#2037)

* Removed attrs prefix for some layers

* Fixed tests

 38009: InterpolateReshape fix for TensorFlow style Concat (#2047)

* 38009: InterpolateReshape fix fot TensorFlow Models

* Update interpolate_reshape_test.py

* revert debug code

MO docs update reshape and deprecate (#2021)

* Updated documentation for Reshape, Squeeze and Unsqueeze

* Updated MO documentation about deprecated IR v7

Added Conda CentOS documentation 2020.4 (#2010)

Updated ConcatOptimization to support Concat with 0D input of one dimension (#2012)

* Updated ConcatOptimization transformation to work when one dimension of input to Concat is 0D

* Fixed ConcatOptimization transformation to reconnect input edges to Concat

* Completely re-written ConcatOptimization

* Updated Concat0D optimization transformation

* Fixed order of traversing Concat input ports

* Refactored ConcatOptimization transformation to use `delete_input_port` function

* Detele trailing unconnected ports in the ConcatOptimization.py

* Cleaner implementation of ConcatOptimization + unit test

[IE CLDNN] Fixing eltwise input sizes (#2017)

[IE CLDNN] Reduce b_fs_yx_fsv16 optimized kernel (#1690)

[IE CLDNN] Add fc kernel for bfyx with batches (#1946)

[IE CLDNN] Add verbose macros for reorder_inputs (#1947)

[IE CLDNN] First conv 3d imad (#1935)

[GNA] Improve ReadHeader (#1843)

* [GNA] Improve ReadHeader

Issue-34205

* [GNA[ Fix stack corruption issue in ReadHeader

* [GNA] fix code style

Co-authored-by: Kamil Magierski <kamil.magierski@intel.com>

Fixed replace_output_update_name method to preserve rt info (#1983)

* Fixed replace_output_update_name method to preserve rt info

* added test

Fixed SoftPlusDecomposition transformation (#2011)

[nGraph] Python tests - move to int32 (#1966)

[IE CLDNN] ScatterUpdate layer added (#1839)

[GNA] RemovePermutationsNHWCToNCHWPass - check whether permute operation is last one in the model (#1805)

* [GNA] check whether permute operation is last one in the model

* add assert for checking

* change casting to static

* check casting to ConvolutionLayer

[IE CLDNN] Loosen restrictions on channels in 3d fsv16 convolution kernel (#1744)

[IE CLDNN] Disabled choose_impl call for generic nodes in some cases to avoid double compilation (#1989)

Do not remove convert after the topK (#1950)

* Do not remove convert after the topK

* Added debug message

* Removed xFail

* Revert "Added debug message"

This reverts commit a01ace4ade88d73e2797b47c58db33943b0f508d.

* Added test

[IE][VPU]: Customer model compilation error - fix(#1901)

Fix of 36693 issue.

* Problem: One of the concat inputs is a constant. Adjust_data_layout pass tries to duplicate all inputs that do not meet the strides requirements, and then copy from the original input to the duplicate with strides. But duplicateData with an argument in the form of a constant also creates a constant, and then, when Copy, an error appears, the presence of a constant output, which cannot be.
* Solution: In addConvertedData create an intermediate date with the same description as the constant, and then copy the constant data into it with the required strides.

Co-authored-by: DariaMityagina <daria.mityagina@intel.com>

[CPU] CTCLoss operation implementation. (#1482)

[ONNX] Enable ScatterND operator in ONNX importer (#1987)

* Enable ONNX scatter_nd

* Tests update

Dynamic shape cell (#1683)

* validate_and_infer_types() implementation

* input parameter validation for LSTM, GRU and RNN

* style-check applied

* Add LSTMSequence dynamic shape validation and test props for RNNCell, GRUCell, LSTMCell and LSTMSequence.

* recurrent_sequence.hpp moved to ngraph/core/include/ngraph/op/util/

* style check applied

* removed unused variable from LSTMSequence::validate_and_infer_types

* Add missing newline mark at the end of file.

* Add supression macro for FusedOp deprecation.

* Add element type initialization

* Apply PR review remarks

* Rewrite tests to use gtest exception assertions.

Intepolate-4 nGraph operation (#1412)

* Fixed prototype of evaluate method.

* Rewritten Interpolate-4 ctors (added argument output_shape). Corrected tests.

* Fixed typo.

* Fixed number of args of make_shared in op::v4::Interpolate::clone_with_new_inputs.

* Fixes in Interpolate-4 tests.

* Now ONNX Upsample-1 is readed as Interpolate-4 with 4 inputs.

* Code style fixes.

* Some fixes in Interpolate-4 layer test.

* Now ONNX Upsample-9 is readed as Interpolate-4 with 4 inputs.

* Small fixes.

* Some changes.

* Fixed processing of 'scales' input in evaluation of Interpolate-4: now 'scales' contains scales only from 'axes'.

* Fixes in documentation.

* Now reference implementation of Interpolate-4 is rewritten for using 3 required inputs.

* Some code style fixes.

* Small fix.

* Started to write tests for method evaluate() of Interpolate-4.

* Continued to write tests for evaluate() of Interpolate-4.

* Some fixes.

* Some additions.

* Written draft of tests for 'cubic' mode with using scales.

* Some changes.

* Started to write tests for 'nearest' mode.

* Started to write tests for 'linear_onnx' mode.

* Some changes.

* Small fixes.

* Added setup of output type.

* Small addition.

* Added debug print into Interpolate-4 evaluate.

* Now in Interpolate-4 evaluation tests 3 inputs of Interpolate are Constants.

* Small changes.

* Added some debug print.

* Added more debug print.

* Some fixes.

* Now 4th argument of runtime::interpolate has type std::vector<int64_t>.

* Added checks for result of calculations.

* Added another expected values vector for the mode 'cubic'.

* Temporarily commented result value checks  for the cubic mode.

* Written tests for 'nearest' mode.

* Some reorganization.

* Written tests for 'linear_onnx' mode.

* Fixed padding loop.

* Fixed docs for 'linear_onnx' mode.

* Written tests for 'cubic' mode.

* Deleted debug print.

* Fixed code style.

* Enabled CPU layer tests for Interpolate-4.

* Reverted changes of this file.

* Now ONNX importer reads Resize-1 as Interpolate-4 with 4 inputs.

* Now ONNX importer reads Resize-11 as Interpolate-4 with 4 inputs.

* Small fixes.

* Fixed docs.

* Added small epsilon in the shape calculation in the function op::v4::Interpolate::infer_using_scales.

* Small fix.

* Reduced size of the template function eval().

* Now the 'nearest' mode is rewritten to CoordinateTransfom instead of NDim* classes

* Now the 'cubic' mode is rewritten to use CoordinateTransformation instead of NDim classes.

* Started to rewrite 'linear' mode using CoordinateTransform.

* Started to write helper class.

* Small fix.

* Small changes.

* Some fix.

* Fixed typo.

* Now the preamble of 'linear_onnx' mode implementation is a method of helper class.

* Now the function clip_coord is the method of helper class, and the mode 'linear' uses CoordinateTransform instead of NDim classes.

* Deleted NDim classes.

* Some fixes.

* Some refactoring.

* Some refactoring: now inner calculation of 'linear' is in helper class.

* Moved reference implementation of Interpolate-4 into library with reference implementations.

* Small fix.

* Deleted commented tests.

* Code stile fixes.

* Deleted redundant type prop tests for Interpolate-4.

* Documentation fixes.

* Disabled IE_CPU tests for ONNX Resize: Interpolate-4 is not implemented in plugins.

* Temporarily disabled some ONNX tests.

* Some refactoring: deleted redundant attributes of InterpolateEval class.

* Small fix.

* Added NGRAPH_RTTI_DECLARATION and NGRAPH_RTTI_DEFINITION.

* Added debug print to 'cubic' mode calculation.

* Some deletions.

* Small fix.

* Fixed typos.

* Added another debug print.

* Now indices_shape is constructed from std::vector<std::size_t>(num_of_axes, 4) again.

* Fixed CMakeLists.txt.

* Small fix.

* Added more debug print.

* Fixed typo.

* Fixed calculation of the first argument of helper.clip_coord in the inner loop of cubic_func.

* Some code style fixes.

* Alphabetically sorted operations of opset4.

* Deleted constant cannot_define_axes.

* Used std::iota instead of loop.

* Renamed structure InfoToCallReference.

* Now void op::v4::Interpolate::validate_and_infer_types() checks an element type of an input tensor.

* Code style fix.

* Changes in reading of ONNX Resize and Upsample: we generate Interpolate-4 without 'axes' input.

* Now bodies of functions evaluate_interpolate_v4() and inline bool evaluate() are moved in the method bool op::v4::Interpolate::evaluate.

* Fixes in example of the documentation of Interpolate-4.

* Fixed typos.

* Small fix.

* Some fixes.

* Deleted some type aliases.

* Uncommented a test for 'cubic' mode.

* Small code style fix in bool op::v4::Interpolate::evaluate.

* Uncommented more test for Interpolate-4 reference implementation.

* Added more debug print.

* Some changes.

* Uncommented all tests for Interpolate-4 evaluate().

* Deleted debug print.

* Deleted 'simple' mode from the map nearest_mode_map.

* Code style fixes.

* Disabled some CPU tests.

* Some fixes.

* Small fixes.

* Some fixes.

* Fixed typo.

* Fixed typo.

* Small change.

* Fixed some typos.

* Fixed some typos.

* Fix in operator() of the class GetOriginalCoordinate.

* Disabled some CPU tests.

* Small changes.

* Deleted template function from resize.cpp.

* Code style fixes.

* Refactored the method op::v4::Interpolate::evaluate.

* Added documentation for infer_using_scales() and infer_using_shapes().

* Added documentation for classes GetNearestPixel and GetOriginalCoordinate.

* Small fixes.

* Some code style fixes.

* Small fixes.

* Some changes.

* Added NGRAPH_SUPPRESS_DEPRECATED_START and NGRAPH_SUPPRESS_DEPRECATED_END for using v0::InterpolateAttrs; and using v0::Interpolate;

* Code style fix.

* Enabled ONNX import only tests for Resize-10, Upsample-8, Upsample-9.

* Fixed element type for scales_const. Fixed targetShapes and pads in single layer tests.

* Small changes.

* Added conversion from NGRAPH to CNNLayer.

* Added documentation for the class InterpolateEval.

* Now 'nearest' mode has special tests in cpu single layer tests.

* Small changes.

* Fixes in cpu single layer tests.

* Temporarily commented Interpolate-4 in ConvertFunctionToCNNNetworkTests.

* Added some docs.

* Enabled some tests for Resize-11.

* Added test.

* Corrected expected values in the resize_downsample_scales_align_corners case.

* Added more test for the 'cubic' mode.

* Added more test for linear_onnx mode.

* Deleted debug print for linear_onnx mode.

* Deleted debug prints. Added yet another test for 'nearest' mode.

* Fixes for import of ONNX Resize-10 and Upsamples.

* Applyed Evgeny Lazarev fix for Interpolate-4 infer function.

* Code style fixes.

* Some tests were deleted from unit_test.manifest file for INTERPRETER.

* Deleted test for downscale Resize-10: results of infer are correct, but comparison is not.

* Enabled test INTERPRETER.onnx_empty_initializers_handling.

* Some fixes.

* Added the method run_with_tolerance_as_fp() to the class TestCase and the method compare_results_with_tolerance_as_fp() to the class TestCaseEngine.

* Small fix.

* Small fix.

* Added yet another type_prop test.

* Disabled CPU test IE_CPU.onnx_empty_initializers_handling.

* Code style fixes.

* Enabled some ONNX tests.

* Some changes.

* Code style fix.

* Enabled test INTERPRETER.onnx_model_round.

* Disabled tests with behavior as behavior of INTERPRETER.onnx_resize11_scales_down_linear.

* Changed tolerance for test onnx_empty_initializers_handling.

* Changed tolerance in the test onnx_resize11_sizes_linear (otherwise this test is failed in MacOS). Disabled test INTERPRETER.onnx_resize11_sizes_nearest_asymmetric_floor, because this test failed in MacOS only.

Print friendly name instead of name to stream (#1985)

Added documentation about supported ONNX operations (#2004)

* Added documentation about supported ONNX operations

* Fixed comments

Removed NGRAPH_IE_ENABLE flag because it is always ON if unit tests are enabled (#2003)

Dynamic shape support for builder collapse (#1971)

Removed useless export from readers (#2009)

[MO] Fix when Crop asks for MXNet specific cmdarg `enable_ssd_gluoncv` (#1978)

[ MO ] DepthToSpace & ShuffleChannels fusion (#2001)

* [ MO ] ShuffleChannel fusion

* DepthToSpace fusion

* test

* comment

[IE CLDNN] Restrict bsv16_fsv16 convolution to int8 for batch 16 (#1954)

Fixed compilation with private plugins (#1997)

Multiple fixes related to tickets 37105 and 37615 (#1979)

* Multiple fixes.

1. Fixes SpaceToBatch transformation to not crash if inputs are not Constant
2. Fixed eliminate_squueze, eliminate_unsqueeze to not crash when input has dynamic rank
3. Added reference implementation for the FloorMod operation

* Code style fixes

* Update floor_mod.hpp

Removed unnecessary function

[IE CLDNN] Improve performance of fc block fp16 implementation (#1993)

Main purpose of this change is to fix weird behaviour of
fully_connected_gpu_fb_io_block_fp16 implementation where it shows
severe performance drop without bias.
Additionally assembly for case with bias is improved.

Fixed compilation when NGRAPH_INTERP is not enabled (#1998)

Added note about QueryNetwork (#1965)

[ MO ][ RESHAPE ] Fixes in RNNSequenceNormalize transformation  (#1909)

* initial commit

* first reshap-able variant

* right version for reshape

* comment update

* fixes for failed e2e

* set data type to ngraph TensorIterator

* Fix dynamic shapes for cells ops

* clean up

Co-authored-by: yegor.kruglov <ykruglov@nnlvdp-mkaglins.inn.intel.com>

[IE][VPU]: firmware update (#1973)

[GNA] Added fix for eltwise layer with more 65k elements (#1943)

[IE][VPU]: ignore 2nd output of Proposal layer (#1975)

* TODO: implement 2nd output, see: #-37327: Several models Failed to compile layer "proposals"

Implement reshapeable CTCGreedyDecoderPlusSparseToDense transformation and test (#1906)

* Implement reshapeable CTCGreedyDecoderPlusSparseToDense transformation and test

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix consts (after code-review #1)

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Add CTCGreedyDecoderTransformation with more generic pattern

Also it adds new middle-replacer for transforming sequence length to a mask
along with tests.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Do fixes after review #2

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after review #3

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>
* Fix after review #4

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

refactor import network (#1871)

NormalizeL2 transformation (#1892)

* first version of implementation

* added unit tests

* changed multiply to pow

* doc + unit tests

* more unit tests

* code review remarks

* missing new line

* remarks

* review remarks

* Build fix - update constant check function in HSwishFusionWithClamp

Co-authored-by: mitruska <katarzyna.mitrus@intel.com>

Fix the case when run stage of verification scripts failed on Windows 10 due to different build directory for executables (#1478)

[IE CLDNN] Cleanup part 2 (#1865)

* [IE CLDNN] Removed some unused kernels and layouts

* [IE CLDNN] Removed bsv4_fsv32 layout

* [IE CLDNN] Removed remaining BF8_XY16 usages. Removed definitions.cl

Update install_openvino_dependencies.sh for Ubuntu 20.04 (#1974)

[IE CLDNN] Move iGPU to first position in GPU device map (#1828)