test: rename a test file

Just rename inference_engine_test.cpp to inference_engine_profiler.cpp

Change-Id: Ia20af23be4f6256dd969eb19a44ff5d780b9ad12
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: avoid code from duplicated

This patch moves common code from test files to
a new file, inference_enigne_test_common.cpp, to avoid
code from duplicated.

Change-Id: Id516b91298bc9fbef779d6568de449b9538ecba6
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: add inference_engine_tc

This patch adds a inference_engine_tc.cpp which
contains test cases moved from inference_engine_test.cpp.

Change-Id: I3e60b74b79a574f169d726447118dce883f58cfe
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Drop gmock dependency

For gtest based tc, gmock isn't required.

Change-Id: I7eed61f7009e5c8dc5a6703cdcedac0045f963a0
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Fix build error due to the use of wrong enumeration

Change-Id: Ib92b31e055544322ea394329a24a380247eda5ab
Signed-off-by: Inki Dae <inki.dae@samsung.com>

clean up enumeration prefix

Change-Id: I48bfa0d402dcf0f68f8f6f1afde34afb35ae84c2
Signed-off-by: Inki Dae <inki.dae@samsung.com>

clean up header file

Change-Id: I0e3108bb59b0a09a1993264cedc07194287b35a8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaging: drop opencv buildrequires

opencv package isn't required anymore.

Change-Id: Iea34932c12a15f7e7d34e099924f632a10dd29a4
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add dldt verify data

update bin date (banana img) file

Change-Id: I5adc21e30f4afe5bf2ea41d0847f3399fb8ea6de
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Add DLDT inference result test

add gtest

Change-Id: Ie3a25292f0c109277c4ea1c95865a7162d5126ac
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Tensor shape type change to size_t

shape means positive value.
change int to uint(size_t)

Change-Id: I94fb4892b8de90ac64e7e19dc46ac494cfe100f2
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Fix typos CPU to GPU

Change-Id: Id39027b06c1b5614044c8c207fd287f9fd77729e
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

dldt input format change

dldt bin is hard to figure out with data format.
change bin to xml file.

Change-Id: I4439a993600729fe90d5d24942510ee4388002e5
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

profile: leave memory usage text

Change-Id: Ibbc219629cfca865dee284662f221d7a0e3b0103
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: use specific profile data file name

Change-Id: Id886f7d1314c13fef9fbf7d4d8d08b74a7b35257
Signed-off-by: Inki Dae <inki.dae@samsung.com>

dldt common test_2 added.

dldt needs xml and bin files.

Change-Id: I4161a6869744516fd502a29545ac14b7229e2ffd
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Print custom target

Myriad is custom target.

Change-Id: Ib7ddc231d3fe8147e1b3a5152b5cc784b9be90af
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Add Caffe model support to start_profiler.sh

Change-Id: I7e15adb651f7ad9065e2d9e11c89c888ab272fff
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: fix build error

Change-Id: I70daccb7a0e0bffecd760b0e8741996b8098c61c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add OPENCV backedn test cases

Change-Id: Ie39cad370751d89adba608ca3c9e781369c52bba
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Add memory usage profiling feature

This patch adds memory usage profiling feature while in runtime.

Basially, there are some procfs to collect memory usage consumed
by current process, and we use /proc/self/stat.

These memory usage data are updated by Linux kernel scheduler so
they should be measured before and after current process.

As for this, this patch adds a new script file, start_profiler.sh.
SO if you want to profile exact memory usage in runtime then
run ./start_profiler.sh on Target.

Ps. the memory usage data can be measred by inference_engine_test app
but the data wouldn't be exact.

Change-Id: I5416587d4847c65538768b15f69f1e23862e2837
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Gtest dldt backend support

dldt myriad backend added.

Change-Id: I8ef6f33a36ed795a04de0658412f46d391b8aa20
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Fix prefix to profiler enumerations

Change-Id: I81d5639e46b99111e79b7b21acae55ef6f8d3393
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add TFLITE backend test cases

Change-Id: Ie27c4cb3b14b5f27883712d6f5dc46f358a02d3d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add barrier enumeration to inference_tensor_data_type_e

Change-Id: I7b5d659f749bf20273e485ca0a5378137a752cdc
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Block memory release in case of tensorflow.

Change-Id: Ibb2e79822e141e3ed7216156a38ab26fcd720e02
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Verify tensor buffer and property values

This patch makes sure to verify whether tensor buffer vector
and propery value contains correct data or not.

Change-Id: I01a05f5530e879cc320d1d3ef38d67e342e3ac87
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: enable inference engine profiler

This patch enables the inference engine profiler.
The profile data will be stored to 'dump.txt' file
with Markdown syntax.

Change-Id: Ie70d057244a4a56e9208bd2d2e4d0accecce4122
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add Inference engine profiler support

This patch adds a profiler support for inference engine.
For now, only latency profiling is support. For other, they
will be suppored later.

The profiler isn't built in inference engine framework so
other users can use the profiler anytime using some API.
And also, Inference engine framework provides some API for
profiler like below,

[How-to-use]
InferenceEngineCommon *engine = new InferenceEngineCOmmon(&config);
...
// Enable the use of profiler.
// Ps. Make sure to create InferenceEngineCommon object
// before enabling profiler.
ret = engine->EnableProfiler(true);

// Profile data will be stored to dump.txt file.
// If you want to just print out the profile data on console screen
// then call DumpProfileToConsole instead.
ret = engine->DumpProfileToFile("dump.txt");

All profile data will printed out to console screen or stored
to a given file in Markdown syntex[1] like below,

"
backend|target devices|model name|Function name|Latency(ms)|Memory Usage(kb)
--|--|--|--|--|--
armnn|CPU|/usr/share/capi-media-vision/models/IC/tflite/ic_tflite_model.tflite|Load|1799|
armnn|CPU|/usr/share/capi-media-vision/models/IC/tflite/ic_tflite_model.tflite|Run|95|
***
"

Please use Markdown syntax aware editer such as the edit box of github.

[1] https://daringfireball.net/projects/markdown/syntax

Change-Id: I2f643bb0b78410d48f94de2e39d986a2d646d97b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Rename engine to mBackendHandle

Change-Id: I0ef2b66e57062fbd98b2b92189807198d36bfd51
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Fix SVACE and Coverity issues

Change-Id: I525cd68275dcbedade157dd3e494150762ed1b95
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Rename hanel to mBackendModule

Just for the cleanup, rename handler to mBackendModule.
The handle points to backend library loaded by dlsym function.

Change-Id: I313d069087389c65296dbda368666b6d5079c50c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Change directory name from common to src

Let's just use generic directory name, src, instead of specfic one,
common. We already dropped inference framework so we don't have to
adhere to use common directory name.

Change-Id: Ib0947dd90f5ee5c5d935d75435a4f36c1b869146
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Fix indentation

This patch uses a tab instead of space

Change-Id: I275644423b8a5e481649c17a86ee35b15add9960
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Drop unnecessary model load tests

This patch drops unnecessary model load tests because it's enough
to test only one model loading for load interface verification.

Change-Id: If7e753d0d44bb6e1dd11d3e4dce355a070b052fd
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add a input binary file for quantized model inference test

Change-Id: Ia4d6ae0c7729bbb67c562f11cb63c37522593349
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add quantized model inference test

This patch adds a quantized mobilenetv1 model inference test.

Change-Id: I214c4aecc2ba07cac31fce42d28307ace09b9eda
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: fix a comment

Change-Id: I892180e682bbc50c6faa3e8e48ab8f889a02cd79
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: add a new parameter for tensor data type

This patch passes tensor data type to each test case as a parameter
to test various model types such as quantization model.

Change-Id: I251813a857ad832cdc55f90996eec3f16b64fc82
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: set user-given property information

This patch sets user-given property information, which is required
by OpenCV backend which cannot provide input layer property
information.

Change-Id: Ifdaeafecdbe73a946e3ace9b7e8382170b30d74a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: clear owner_is_backend in case of using user-allocated tensor buffers

If user allocates the tensor buffers then clear owner_is_backend
so that user can also release the buffers.

Change-Id: Ie06199fd0a8bc5dde0c73648e43f1fd000526093
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: skip to release tensor buffer if owner_is_backend is 1

Change-Id: Ida9e0f6abb569d21978790961b96a62e30995242
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add owner_is_backend member for checking buffer ownership

This patch adds a new member, owner_is_backend, to
inference_engine_tensor_buffer structure, which
is used to check if a backend should release
tensor buffer or not.

If owner_is_backend is set to 1 then upper framework,
Inference framework in case of Tizen, will not release
the tensor buffer.

Change-Id: I9db254daeb84fd4bc71123acaf6295fbf47d53f8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Release tensor buffers after inference

Change-Id: I27cfdd2ae2a9d1ee97c60c3211e309e26334399e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaging: Pack resource files for the inference verification

Change-Id: Ie697b3951ac3061ad8f5a7a584b10217ac4bcf4a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add resource files for the inference verification

Change-Id: I421a87f28f37d57bf90ccb80a4821a741804912a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add inference result verification support

This patch implements inference verification to each inference
test - image classification, object/face detection and pose estimation.

As for the verification, it uses pre-dumped file which contains
in-memory tensor buffer in bytes to a given sample image file,
and uses pre-calculated inference result for the verification.

Change-Id: I46342f832a59361165b54d5357c4653c5acad566
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add size member to inference_engine_tensor_buffer structure

With this patch, the size member of inference_engine_tensor_info
structure means a tensor element size which is calculated by
height * width * channel count, and the size member of
inference_engine_tensor_buffer structure means a actual tensor
buffer size in bytes which is calculated by height * width * channel count
* pixel per bytes.

Change-Id: Ic88e34035c45386fa712e7ab922a296a4bad0ac9
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Update description of inference_engine_tensor_info structure

Change-Id: Ibd70368f453a9dea5eb5ab85c2730789428a555f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaging: Add build requires for test app

Change-Id: Ia7ad20ddef7514674bb87d85fa2dd371309cdc09
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Print out test information

Change-Id: Ic95b8093d10b7a782ad56ac86389919b4d1775c7
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: drop unnecessary logs

Change-Id: I017901ed87544578e87aa214d2268ef1d60d2c99
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add inference test for armnn backend

Change-Id: I2da5f3676a9286c4ac5f07d181627e15d5f0caba
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add model loading test

Change-Id: Id4e41a5449bdfc72e50bf1c16d9a6c65c4433c17
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Test GetBackendCapacity callback

Change-Id: Ic75161ab46f7ac8de682233e235c15956e90e0a2
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaging: Pack test application

Change-Id: I0d08acc3f058816876d382771d6be4df6161c544
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add initial inference-engine-interface test code

This patch adds google test based test code for interface-engine-interface
API verification.

Change-Id: I6dd69f4a6d1e498f92f5b908920e9603f3e1eb1c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Modify Load callback interface to pure virtual function

Change-Id: I94555409bb13caf4ea4c71ea2ccc40643d77cd51
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Drop GetInferenceResult function

GetInferenceResult function isn't used anymore becuase upper
framework(Inference class in case of Tizen) is already aware of
output tensor buffer so drop this.

Change-Id: I16a65f4cb1c63cafe3dedf252481210978bb1baf
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add the use of user desired input and output layers

Change-Id: I140ad98452f0ab2c3878aa05a0927f4553639d6e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Update adapataion layer API descriptions

Change-Id: Ibea8f1596775f63d2912a74e60714af5c7911d34
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Pass output tensor buffers to backend engine for the inference

Change-Id: I3c5ad1499daa1953874441bef42e62accf2bedc0
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Pass input tensor buffers coming from Inference layer to backend engine

This patch makes InferenceEngineCommon layer to pass input tensor
buffers allocated by Inference layer to a backend engine for
the inference. As for this, it adds new several callbacks, and
drops unnecessary ones.

Change-Id: I03fd9aa9ce73cb2c1092a5a50d4147ff90e4462e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Remove InferenceEngineVision relevant things

Change-Id: Iad41e0c01f776a787c95bca3252b9c7e0c04fd1a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

vision: Drop all OpenCV dependencies

This patch drops OpenCV dependent code. The dropped code will
be moved to Inference layer. This is a step to remove
inference-engine-vision layer.

Change-Id: I3fc29071ec7f7a0e4b0dec72ed7568bcc638462e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Pass model file format to backend engine

This patch passes model file format coming from Inference layer
to backend engine. As for this, it adds enumeration values
which indicate various model file format.

Change-Id: I11b141399498c73cda6a34350a6f6fd3eac74a17
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Implement GetBackendCapacity callback

Change-Id: I4f30d077f85a54d09bd97b22a353f564d34a9a33
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Consider one more inference target devices

Change-Id: I3183273117f73a36fe87d8dd6ca00c5d9720a02a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Drop SetInputTensorParam/SetOutputTensorParam callbacks

Change-Id: I7348440bc489490e1ce42c7fe908453b825327d8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add a comment

Change-Id: I61c00dec619c4637cafded6dee08f5788e0181ad
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Code refactoring to Inference initialization process

This patch changes Load callback and Constructor with
new version. And it replaces Init/DeInit callbacks with
BindBackend/UnbindBackend callbacks to clarify.

Change-Id: Ic4c39db96387232936ff066dc9fd81026932667d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

use a new constructor

Change-Id: I3af15df073a735440effc53807e4af62abe091c1
Signed-off-by: Inki Dae <inki.dae@samsung.com>

vision: add initial code of new adaptation layer API

Change-Id: Id3b708ca882354eef56ef58e77b155938c12ec72
Signed-off-by: Inki Dae <inki.dae@samsung.com>

add new adaptation layer API support

Change-Id: I87cd2baa78f7afe8b35b22497001588505166373
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add ARMNN backend support

This patch adds a enumeration value for ARMNN backend support.

Change-Id: I0e5e091203c7aac62a3f95147d6eeb4d735fcfdb
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Keep opencv.pc file

Change-Id: I65b5d0dc7e373aa5ef4d7cae8daf225bbf47e011
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Migration with OpenCV-4.2.0

Change-Id: Ie5960bb38c613ec13fa795c6ee3ce48fca3ad1d8
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix wrong PC NAME and add library link.

PC NAME of common package is set wrong because of misspellings.
And stdc++fs was not linked on common package.
So i changed these to right way.

Change-Id: I410fe525dbf2f2c677c044329b603928a8f1772a
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Add initializer in constructor for local variable.

New class variable was added, but it doesn't be initialize. So i add init codes.

Change-Id: I47d9f9299395af8b73898859e176c65ade014bcb
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Remove SetLibraryPath api on pure interface.

It is depends on each engine. So i remove this api on pure interface.

Change-Id: I55254ad54cd1fe84373b876da1a96d2a18d2e243
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Remove unreachable code.

Change-Id: Ia28161f5a1d84c10389f1eaaadf53c1cb164d58a
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Add 'SetLibraryPath' api and INI parser.

It is needed when user want to set full path of so file.

Change-Id: I397f9750733454fa5b75c064a61034987bb41f22
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Fix bugs

1. The number of channels should be applied while allocating memory to mInputBuffer.
2. The length of top_results should be less than its' size, not mOutputNumbers.

Change-Id: I0aa01da1a4230803554ab16835966599221b7cbe
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix wrong type cast

Change-Id: Ieaf42f74bba1eb7f2c832362b519cffb7071dfe9
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Reimplement class InferenceEngineVision using InferenceEngineCommon

This commit removes the IInferenceEngineVision and reimlement InferenceEngienVision
as commit title.
In detail,
InferenceEngineCommon provides general inference operation such as
set parameters, load model.
Thus, InferenceEngineVision can be implemented by InferenceEngineCommon,
instead of IInferenceEngineVision.

Change-Id: I7a43bc6ff97e5713c1ac7ae705ff52100f5e4977
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Sets and Checks NULL value to pointer variable.

C++ delete method just release allocated memory. It doesn't set NULL value to variable.
So i make variable to NULL after delete process.

Change-Id: Ia63a08c47b2e41263e7195aaca62bb67903d8c11
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Implementation of inheritance relationship.

IInferenceEngineCommon class should be parent of IInferenceEngineVision class.
So i implemented inheritance relationship between two classes.

Change-Id: I9a4e572dbba9d4e8fd118ec73305f46a912015fa
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Change the parameter of SetOutputTensorParamNodes() from std::string to std::vector<std::string>

Now, multiple output tensors are supported.
You can set the output tensors' names to get multiple output tensors
Note that a batch is not supported in current inference, so an input tensor should be one string

Change-Id: I01a3a8fa7f15ce329fbab187f6d72f583f116c2a
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Add INFERENCE_TARGET_CUSTOM and change constructor to get parameter of string type

Change-Id: Ib2f1f159911e0dc0d0f1abbbf5807b354b24576b
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix build break

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Initial codes

1. Provides inference-engine-interface-common for general purpose inference
2. Provides inference-engine-interface-vision for vision specific inference

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Initial empty repository