Use ittnotify from thirdparty

VTune ittnotify lack of support aarch64. Switching to use ittnotify
in sources to support any target architecture.

Add ittnotify from IntelSEAPI

Adding ittnotify component of https://github.com/intel/IntelSEAPI

commit 88a56e0ecd162667c7afd2ee9969221d62a32509 (HEAD -> master, origin/master, origin/HEAD)
Merge: 6d743e1 809062a
Author: Alex <alexander.a.raud@intel.com>
Date:   Wed Jul 10 15:06:46 2019 -0700

[VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero (#658)

* [VPU][NGraph] Reuse NonZero evaluate in StaticShapeNonZero

* [VPU][Tests] Adopt old tests to work with reverted indices

* [VPU] Update firmware

[IE Python API] fix TensorDesc test file name (#701)

[IE VPU] OutShapeOfReshape per-layer tests (#631)

* [IE VPU] OutShapeOfReshape per-layer tests

* [IE VPU] Update firmware

* [IE VPU] OutShapeOfReshape: get rid of code duplication

Added speech recognition demo package for centOS (#682)

[IE] Fix build error (#703)

Missing changes in transformation library due to IE API dependency removal.

[IE CLDNN] Free up first copy of weights/biases that were transferred to USM device memory (#561)

Fix SparseWeightedSum transform for Wide and Deep (#698)

WhereDecomposition transform is applied to Where operation in for-garbage sub-graph remained after SparseWeightedSum transform.

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[IE CLDNN] Prefer bf(wz)yx format for reshape (#691)

Performance improvement for icnet-camvid model

Removed dependency on Inference Engine from transformation library (#680)

* Removed dependency on Inference Engine from transformation library

* Change transformations export macro

* Fixed comments

Reshape-Permute-Reshape pattern to DepthToSpace layer transformation (#601)

* implemented depth_to_space transformation

* renaming

* added functional tests, fixed mistakes in implementation of the transformation

* disable ConvertSpaceToDepth/ConvertDepthToSpace transformation for CPU plugin, enable DepthToSpaceFusion for CPU plugin only, add specific creators

* fix wrong include

* fix for functional tests: set transformation callback

* revert callback calls for CPU plugin

* move functions to .cpp file

* Apply review comments

* Apply additional review comments

* fix cast to bool type

[ONNX] Add Range op to ONNX importer (#548)

* Added Range op to ONNX importer.

* Disable tests for IE.

Ie capi callback with explicit calling convention (#697)

* Added explicit calling convention to CAPI callback

* Fixed typo spacing

* Renamed INFERENCE_ENGINE_CALLBACK to INFERENCE_ENGINE_C_API_CALLBAC to make the macro really specific to the C API

[IE][VPU]: Faster-RCNN fixes on myriad plugin side (#665)

* [IE][VPU]: Fixes deallocation data for cases of CMX allocator run

The final loop tries to deallocate data objects that keep shape values for
other data objects that're outputs of a model. But the case when allocator
takes only CMX data into consideration was not handled and since allocation
could not happen, it lead to fail on deallocation of a data object that has
not been allocated.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>
* [IE][VPU]: Fixes allocator with work on data to shape edges

Since there is new relationship between data objects: some
data objects may contain shape of other data object - allocator
must properly respect that. The thing is if 2 data objects are
connected in such a way, they represent unite entity (dynamic
data object) and should have the same lifetime.

Signed-off-by: Gladilov, Gleb <gleb.gladilov@intel.com>

Added ie_core_read_network_from_memory to the C API ie_bridge. (#674)

* * Added ie_core_read_network_from_memory to the C ie_bridge.

* Added size argument for xml_content, fixed const correctness of the weight_blob, fixed unit test

* * Removed debug message

* Changed variables names from model_xxx to weights_xxx to be more consistent with the argument name of the tested function.

* Added a description for xml_content_size in ie_core_read_network_from_memory.

* * xml_content is now passed as uint8_t
* reading function factorized in the unit-test

Added dependency on ONNX reader (#693)

[GNA] Workaround support for callbacks (#591)

[LPT] Convolution regression tests (#543)

* [LPT] Base test infrastructure extending & Convolution test

* [LPT] LPT test infrastructure refactoring

[IE TOOLS] Use input_info in python benchmark app (#660)

[Python API] Fix PreProcessInfo tests (#690)

MO fails generating IR from XLNET model due to a bug in the transformation ConvertGroupedStridedSlice (#625)

* Small fix in the transformation ConvertGroupedStridedSlice. Now VariadicSplit is generated only in the case when node has at least 2 output nodes.

* Added unittests for the case when there is only one StridedSlice.

Fixed CODEOWNERS paths (#684)

[IE CLDNN] Optimized FQ kernel in fsv16 layout (#573)

- Optimized FQ kernel in fsv16 layout. Enabled scaleshift transform for FP16 precision
- Disabled activation_opt kernel with fused ops in some cases

[ nG ] Added F16 folding support (#686)

Do not use ONNX reader if ONNX importer was disabled (#683)

Pre-processing(GAPI): AVX2/AVX512 implementation of 3C/4C Resize via universal intrinsics. (#612)

Python: Fixed installation rules to install additional .so files generated from .pyx (#676)

[nGraph] Reorder nGraph LSTMSequence inputs and outputs dimensions (#560)

* Reorder nGraph LSTMSequence input/outpt dimensions

* Update nGraph pythonAPI for LSTMSequence

* Reorder axes in ONNX importer LSTM

* Tests update

* Fix clang warning

* Use opset3 namespace

* Style apply

* Tests update

* Use opset1  namespace

* Remove usage of  GetOutputElement in ONNX importer LSTM

* Remove opset0 header

* Use Node::output()

fix constant folding of Concat op (#675)

[OpenVINO scripts] Fixed *.sh files index from 644 to 755 (#664)

* Fixed *.sh files index from 644 to 755

* Added convert.py executable permission

Enables VPU maintainers notification in case of PR to VPU related folders and files (#667)

[ MO Interpolate ] Fixing broken model reshape-ability (#619)

[ MO: CVS-32286 ] IdentityN fix (#668)

Enabled Unit tests and remove IReaderPtr (#653)

* Enabled Unit tests and remove IReaderPtr

* Fixed unicode tests for Windows

* Fixed typo

Remove Safety dependency (#627)

Safety tool should be isolated from the environment it is validating:
https://github.com/pyupio/safety/security/advisories/GHSA-7q25-qrjw-6fg2

Suggesting docker solution by default.

Removed StridedSlice to StridedSliceIE transformation (#661)

SplitConcatPairToInterpolate inserts Interpolate when input is 2D (#596)

* SplitConcatPairToInterpolate transformation was moved to middle stage and is applied only for 4D and 5D inputs.

[VPU][Tests] Fix sanitizer issue in unit tests (#630)

[IE TESTS] MOVE plugin tests (#659)

Fixed NMSIE shape infer function (#648)

Fixes for Mask-RCNN conversion (#654)

* Fixed ONNX Mask-RCNN conversion

* Fixed validate_and_infet_types for NMS ops: added check for number of connected inputs

* Updated NMS ops to properly handle optional input with index 2

* Fixed typo in the implementation

[ MO ] Memory usage (#657)

[IE TESTS] Move Config behavior tests (#615)

* [ci-skip][IE TESTS] move config test

* [ci-skip][IE TESTS] fix config

[IE TESTS] Move ExecGraphInfoTests  (#617)

* [ci-skip][IE TESTS] move ExecGraph test

* [ci-skip][IE TESTS] fix

* [ci-skip][IE TESTS] fix codestyle

Co-authored-by: Zaytsev, Anton <antonzay@intel.com>

[IE TESTS] Move unit tests to the new infra (#641)

Implement Bucketize in MO and MKLDNN for opset3 (#583)

This operation is used for Wide and Deep Model

Signed-off-by: Roman Kazantsev <roman.kazantsev@intel.com>

[Python API] Add InputInfo and PreProcessInfo (#637)

Remove Runtime classes from nGraph Python API (#569)

Updated StridedSlice to StridedSliceIE conversion to support dynamic shapes (#621)

* Updated ConvertStridedSliceToStridedSliceIE transformation to support dynamic shapes

* Fixed stridesluce to crop transform not to fail with dynamic shapes

[LPT] Concat complex graph support (#527)

* [LPT] [Tests] LowPrecisionTransformations base test extending

* [LPT] Concat complex (neighbor) graph support

* [LPT] Multichannel concat: scale per channel support

* [LPT] test improvements

* [TEST] tests infrastructure improvements

[IE CLDNN] Grouped convolution bug fix (#572)

Fixes bug in grouped convolution connected with wrong weights layout in SetDefault() method

Removed CI and docker scripts (#622)

Azure CI: Add timeouts, *smoke* filter (#574)

CODEOWNERS: Add link to help, and small fix

Added ONNX reader for the OpenVINO (#532)

* Added ONNX reader for the OpenVINO

* Fixed comments

* Fixed comments

* Fixed message

* Fixed memory consumption

* Revert IReaderPtr

* Fixed Myriad tests

* Fixed comment

* Renamed inference_engine_ir_readers to inference_engine_ir_reader

CODEOWNERS: Added nGraph/Transformations/nGarphTests/IECore (#633)

[IE TESTS][IE CMAKE] Fix download 'testdata' repo via HTTPS (#597)

[CPU] Added quantization post op to the list of supported by FP32 DW Conv (#592)

[CPU] ExtractImagePatches operation (#575)

[VPU][GT] Add convert shape notation pass (#559)

* [VPU] Update firmware

* [VPU][GT] Adjust allocator to deal with undeallocated shapes

* [VPU][Tests] Adjust NonZero tests and references

* [VPU][Tests] Add unit tests for pass

* [VPU][GT] Adjust previous unit tests

* [VPU][GT] Introduce convertShapeNotation pass

* [VPU][GT] Review fixes

* [VPU] Change dims order in dynamic output

Fix skipping incorrect names in scale/mean values (#535)

* Fix skipping incorrect names in scale/mean values

* removed inappropriate comment in cli_parser.py

ICV: fix Scatter layers: fix validators (#541)

* ICV: fix Scatter layers: fix validators

* ICV: fix Scatter layers: enable 0D for `axis`

* Revert "ICV: fix Scatter layers: enable 0D for `axis`"

This reverts commit 82da24b989678061a585a5c7ffd7d5dab10f5edc.

* ICV: fix Scatter layers: test, fix CNNNetworkImpl

[IE CMAKE] Fix OpenBLAS dependency handling for Yocto ARM64 platfrom (#562)

Use `THIRDPARTY_SERVER_PATH` variable to override remote artifacts path.

CODEOWNERS: Add openvino-ngraph-maintainers (#628)

Change region of VMSS agents (#595)

[IE TESTS] Move old IE Unit tests to the new infra (#605)

[IE CLDNN] Implement CumSum operation (#533)

CumSum performs cumulative summation of the input elements along the given axis.

Details:
By default, it will do the sum inclusively meaning the first element is
copied as is. Through an "exclusive" attribute, this behavior can change
to exclude the first element. It can also perform summation in the
opposite direction of the axis. For that, set "reverse" attribute to
true.

JIRA: 29994

[IE Myriad] "printf" methods were replaced with mvLog (#552)

[VPU][GT] Refine edges methods (#550)

* [VPU][GT] Extract order manipulation into separate methods

* [VPU][GT] Rename data -> dependency

* [VPU][GT] Extend unit tests

* [VPU][GT] Introduce replacement and removal methods for StageDependency

* [VPU][GT] Update DataToShape connection methods

[ MO ONNX ] Resize-11 clear error message (#620)

* Small refactoring of extractors

* [ MO ] Throwing an exception while extracting Resize-11 which is not supported

[IE CLDNN] Enable int8 activation for fsv16 format (#516)

This change enables int8/uint8 standalone activation to use optimized
block format (b_fs_yx_fsv16). This should eliminate cases where such
activation had reorders before and after.

Support for this is already provided by activation_kernel_ref implementation.

Related JIRA: CVS-28494

Updated convert_nms_to_nms_ie transformation to support dynamic shapes (#614)

Updated ConvertGatherToGatherIE transformation to support dynamic shapes (#611)

Change Elu a regular op since decomposition works extremely slowly (#582)

* Moved Elu operation from Fused to regular ones because the decomposition works extremely slowly.

* Added reference implementation for the Elu op

[ MO ONNX ] TopK-1/10/11 proper extracting (#600)

[Stress] Updated test_configs with new path to OMZ mtcnn models (#602)

Fixed compilation with clang-10 + xcode (#521)

Updated requiremnets.txt (#593)

Alignment with the requirements_tf.txt file

fix issue log print wrong origin image shape (#581)

[IE CMAKE] FIX PATHS (#553)

* [IE CMAKE] FIX PATHS

* Fix problems

Disable nGraph tests if ENABLE_TESTS=OFF (#579)

Updated Mul->Add conversion to support dynamic shapes (#512)

* Updated Mul Add conversion to support dynamic shapes

* Keep changes

* Fix for cases when eltwise performs broadcasting via Constant

* Added comments;Fixed eltwise shape infer; Updated tests

MO: Flush after dumping the arguments to stdout (#570)

When stdout is not a terminal, Python will buffer it by default. This
means that a consumer of MO's output will not see the argument information
until the buffer is flushed, which will normally only happen once MO
finishes (which might take a while).

Flushing stdout explicitly allows the consumer to see this info as soon
as it's printed.

Update TopKIE operation and transform to support dynamic shapes (#526)

* Update TopKIE operation and transform to support dynamic shapes

* Fix TopKIE shape infer

* Updated TopKIE infer function

* Removed index_element_type; changed swtich with as_string<> method

* Fixed ieFuncTests

* Fixed convert_topk transformation

* Updated convert_topk transformations

* ngraph::copy_runtime_info(topk, new_ops);

[IE TESTS] Move old IE unit tests to the new infra (#544)

* [IE TESTS] Move ie_blob_proxy tests

* [IE TESTS] Move network serializer tests

* [IE TESTS] Move CNNNetwork tests to the IE func

* [IE TEST] Fix deprecation warnings

* Fix comments

CODEOWNERS: added cpu/gpu developers teams (#540)

Use compute optimized VMs for CI (#567)

Support ONNX Clamp-11 (#538)

Added case less check for enum names (#534)

* Added case less check for enum names

* Added <algorithm> header

[IE Myriad] Correct destruction order in functional tests with DISABLE_PLUGIN_CACHE  env. variable (#542)

[ MO TF ] IdentityN support (#529)

Azure CI: Enable cpuFuncTests on Windows

CODEOWNERS: Fix

Fix MO CI job name (#520)

Update public CI (#514)

* Update public CI

* Add MO test check

* Disable cpuFuncTests on Windows

add plugin template (#515)

Update CODEOWNERS using openvino-ie-tests-maintainers group (#519)

Update CODEOWNERS (#518)

[IE TESTS] Fix win func test issue (#508)