Revert "mv_inference: Add Post Estimation feature support"

This feature will be added to tizen 6.0 m2 so revert it
from tizen branch and move it to tizen_devel branch.

This reverts commit 68d2d47e71302f563f24555ce1cce4ca10d908a2.

Change-Id: Iec73032301d724ba549560564c529b26e46515dd

mv_inference: drop data types not supported

Mediavision doesn't support float16 and uint16/32bit model
so drop these data types. They can be added later with actual
use case.

Change-Id: Iebe7511326f45c39b09a4429f8de361ca8fe354c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Change type of 'tensor_info.shape' to size_t

Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

inference testsuite: add opencv with caffe model

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

mv_inference: add post-process step to GetObjectDetectionResults()

To handle model data (SSD) which doesn't have post-process layer,
add the post process step.
SSD generally provides an one output with 1x1xNx7 shape and the last dimension
includes 'image id, class id, confidence, coordinates(left-top (x,y),
and right-bottom(x,y))'

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Revert "mv_inference: Get layer propery only in required case"

This reverts commit 756a6d9c297b7c756a1090ded0287795b5f12665.

test: Add input tensor data type support

This patch passes user-given input data type to
Inference framework so that each inference engine backend
can know the input tensor data type before kicking up inference.

Change-Id: I762d7f76444d5b6656b019501321ca3c90c6919a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Add inference data type support

This patch adds inference input data type support for
Mediavision. With this, we can use user-given input tensor
data type for OpenCV backend.

Change-Id: I681f203f4cbe9b3cc7b59a746cfab650009f65c1
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Fix wrong menu index

Change-Id: Ie05fa559637e3b63317e1fd0b1b78800936aeeef
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Use data type of buffer structure instead of property one

This patch fixes a problem that it cannot get tensor data type from
mInputLayerProperty in case that a backend provides tensor buffers.

As for this, this patch makes data type from tensor buffer structure
to be used instead of property one because if a backend provided
tensor buffers then tensor data type must also be there.

With this change, WORK-TO-DO, "TODO. Consider multiple tensors.",
is solved also.

Change-Id: Idcd55514da206edfb9d9f9b04cdc84d14ee53691
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: set owner_is_backend member properly

owner_is_backend of inference_engine_tensor_buffer structure
is used to check if owner is the tensor buffers is backend or
not, to clarify who should release the tensor buffers.

This patch sets owner_is_backend member according to
tensor buffer's owner properly.

Change-Id: I23457837960712c4979f5ebb3b71fae98e1dcbb4
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Update actual tensor buffer size

This patch updates actual tensor buffer size(in bytes)
to size member of inference_engine_tensor_buffer structure
so that the actual size can be used by other.

Change-Id: Ifa3688c33f45e105dd2f8c0c173b7003998c6432
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Modify mv_inferen_prepare()'s internal implementation

Internally, set input and output information (layer names,
tensor information), and give them to inference-engine-interface.

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

mv_inference: do not allow invalid target device type

Change-Id: I760c2547780db368b3a84097ffc56c2b65042201
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Get layer propery only in required case

We don't have to get input/output layer property from a backend
always so get the property only in case input/output tensor buffer
vectors are empty.

Change-Id: Iaa38105a283bd768a9e392ee537621f19662c11d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Measure inference performance

Change-Id: I217ac9b61890757a0f073007f95703f69e341209
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaing: Add BuildRequires: pkgconfig(inference-engine-interface-common)

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

packaging: Drop inference-engine-interface-vision from build requirement

inference-engine-inference-vision relevant code have been removed
so drop the build requirement.

Change-Id: I893ba0c86f439a55695de312d1d6617b367b2487
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add Post Estimation test

This patch adds post estimation test code,
and ARMNN backend support of post estimation inference.

Change-Id: I1d433e36ba18b19678b87e0315ea4a21cff56f54
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Add Post Estimation feature support

Change-Id: Ic7308d722e649d96bb29ed65e28808b101dc2c11
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add face detection with ARMNN

Change-Id: I66ad64dcc3861e37362422a5609ac798b04dd705
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: Add object detection test with ARMNN

Change-Id: I29af9639a5b5ccae7bc67acae6cb7a74cfe437b5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Introduce FillOutputResult function

This patch introduces FillOutResult function which gets result from
output tensor buffers. This function is used commonly for all other
scenarios - image classification, object detection, face detection,
and facial landmark detection.

Change-Id: I494f2924094d409939053753324a6a8485673664
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Handle exception cases to tensor buffer allocations

Change-Id: Iaf95468c07ba6b80f175f57d7c674c6385bff6b8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Add quantized model inference support

This patch adds quantized model inference support.
In case of quantized model, output tensor buffer contains uint8 values
between 0 and 255 so we need to convert the values to floating point ones
between 0 and 1.

Change-Id: I814b236370608d29c9b0f82f298d221851721921
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Add the use of user desired input and output layers

Change-Id: I3472071e96df8ffde2cf5a6c6b6af45e1dbd9e66
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Call Run callback with output tensor buffers

This patch passes output tensor buffers - which will be
allocated by either a backend engine if the backend engine is able
to allocate output tensor buffers or Inference framework if
the backend engine isn't able to allocate the buffers - to
the backend engine at Run callback for the inference.

Change-Id: I9fd55db1c6c413b7e139733f1e39ccde1100011a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Pass input tensor buffers and consider multiple tensors

This patch sends input tensor buffers allocated by Inference layer
to a backend engine for the inference, and considers using multiple
tensors. As for this, it calls new callbacks and drops old ones.

Change-Id: I4156c88bd5f18b0ba36b186ca08e3d4c04ceada3
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: fix undefined reference error

Change-Id: I09bdc03989a7f361ae5753771c0a09e369fae3bc
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Pass a generic channel value to backend engine

mMatType has OpenCV specific value so we shouldn't pass
the specific value to a backend engine but a generic one, mCh, instead.

Change-Id: I3d92a0f636b55c2529202d57f7ded63c6225e37b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Use model_format instead of key->second

Change-Id: Ib306b0dddc945ad43effa3b7eef3eaebc3e2901c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Use InferenceEngineCommon instead of InferenceEngineVision

With this patch, we can remove everything about InferenceEngineVision.

Change-Id: If2edac9e6113a55c89bbd4535b131b55a8dbb3f5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Place OpenCV dependent code from inference-engine-vision

This patch moves OpenCV dependent code from inference-engine-vision layer
to Inference layer. Now we can remove all inference-engine-vision relevent
files - inference_engine_vision_impl.cpp and inference_engine_vision_impl.h

Change-Id: I7750a4b8b85aba8a2d220fb4ee88f7007d6d5939
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Detect model file fomat and notify a backend the format

This patch detects a given model file, and contains proper model file
information a given vector. And then it notifies the model file format
a backend engine with the vector so that the backend engine handles
the model file correctly.

Change-Id: Id1fa75ee5553e099ff3d2800912aa41fb5f3ef90
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Check for inference target devices

This patch checks if a given backend engine supports a given
interface target device/devices for the inference by calling
GetBackendCapacity callback.

Change-Id: Ifd5eaa2fbbc5aeb9af0769fb5f7bfb16c2525dbe
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: Consider one more inference target devices

This patch makes inference to be performed on one more devices.
And also it separates getting backend type and target device types
so that unnecessary configuration isn't requested.

Change-Id: I3bacefa7e8495c90c278df8dcc0241123f6d325f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: separate binding a backend engine and loading model files

This patch makes model files to be changed in runtime without reloading
a backend engine library.

With this patch, behavior of the two C-API, mv_inference_configure() and
mv_inference_prepare(), will be changed like below,
    mv_inference_configure()
    . Create inference-engine-common class object, pass a backend type
      to the inference-engine-common object, and then load its corresponding
      backend library.
    mv_inference_prepare()
    . Pass configuration values required for inference engine backend to load
      given model files, and request the inference engine backend to load
      the model files.

Change-Id: Ibe2bde17c9aae71c8e0850b5901e963368fed00f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: release a backend engine

This patch releases a backend engine when Inference object
is deconstructed.

Change-Id: I819d09bff94a231618565b2df85f8cf257d6886d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: pass inference target device correctly

Change-Id: If8c901555bbb8555bac8bf9f67a182f442cdbfa6
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: use new Load callback and drop Init callback

This patch replaces Load callback with a new version and
drops callback because what Init callback does is just to
bind a backend engine library with a given backend name so
we can change the Init callback to BindBackend to clarify.

Change-Id: I31bc6a0d8f753ba52babe721f3e38181487b191b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: use a new InferenceEngineVision constructor

Change-Id: I6bb875140a74e42d1f6ac646a0e4ec1b75c19f11
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: add ARMNN test case

Change-Id: If842e093de3990e4ff5eb782c33d2cb52e5cca3f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

mv_inference: add ARMNN backend support

Change-Id: I8007999dad1481c1662d5aad8ecb977f1c7135ef
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Migration OpenCV-4.2.0

Change-Id: Ib027c2d6864adf8d13350a372409dce4ea5214bf
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

improve testsuite

- apply argp
- change 'time interval' to configurable value

Change-Id: Ib3df64e4eaf45a61d0c0efca9a53ff1b165df64b
Signed-off-by: sangho park <sangho.g.park@samsung.com>

improve testsuite

- apply ncurses
- add auto-test mode

Change-Id: I52988612e1a9bc4326df372f4a17cb25fc63911f
Signed-off-by: sangho park <sangho.g.park@samsung.com>

Fix error handling

problem
 - line 464 : overwrite error code with destory engine function.
 - skip error

Change-Id: Idec4a23bc958f52aab682b87227b3c8568af3b59
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Error return handling

mv_engine_config_set error was ignored.
when error case, clean up resource and return error.

Change-Id: I8aadb5c696ae7d27240f94200a4ab63d9b905719
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

SVACE bug fix

inference_test_suite.c
 - STRAY_SEMICOLON
face_test_suite.c
 - CHECKED_RETURN

Change-Id: I2b7b4d9c35cbd1d724eed30b9794b4f19a4f4a84
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Keep OpenCV3's pc ifle name and data path

Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Merge branch 'tizen_opencv_upgrade' of ssh://review.tizen.org:29418/platform/core/api/mediavision into tizen_opencv_upgrade

Coverity bug fix STRAY_SEMICOLON

fix with delete semicolon in if statement.

Change-Id: I16528528a84b3f514c603bb77d76442fe58c1e2c
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Merge "Delete duplicate mv_private.c" into tizen

Delete duplicate mv_private.c

mv_common library already has mv_private.c
other module will link mv_common.

Change-Id: Ic2aaf80027de6836ba5efea6080e2a43829bcadc
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Merge "Fix printf specifier" into tizen

Fix printf specifier

unexpected format specifier in printf interceptor: %

Change-Id: I76f14c094edbf349dd76066ccf2ca23f3e02e377
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Merge "Fix wrong api call mv_engine_config_get_string_attribute" into tizen

Fix coverity MISSING_COMMA issue

Change-Id: I33e33ea914cd73f29aba78ae801f38f6792c6dec
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix wrong api call mv_engine_config_get_string_attribute

Problem
print crack string value.

API mv_engine_config_get_string_attribute is designed to get pointer
parameter(malloc inside). Change to pointer and free after print value.

Change-Id: Ifc9833cf810848f9b7cd5332f5927d0f6f08a187
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Fix coverity Stray semicolon issues

Change-Id: I8c3a504aaf17bd804d0108263698161275cc916b
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix coverity RESOURCE_LEAK issues

CID: 1087540, 1087562, 1087564, 1087571
(* WGID 51465 of SVACE is ignored)

Change-Id: I48eea2aa656cf1c78f09b0c732de01d9340549f5
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Merge "Fix DEREF_OF_NULL.RET.PROC.STAT checker issue" into tizen

Fix DEREF_OF_NULL.RET.PROC.STAT checker issue

WGID 410845

Change-Id: Ied8ccc820da1b28a13f1cadaa6ad4b204c3ff924
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

mv_inference: drop commented line

Change-Id: If3c6d51a2ff9c87b6c703b5274cc419dabd5f2d0
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Fix debug mode build option typo

Debug mode build option --w is unrecognized.
c++: error: unrecognized command line option '--w'
change to '-w' option for inhibit all warning messages.

Change-Id: I18fd365b1e09328112522f259b6afb672ef4566a
Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Revert "Fix debug mode build option typo"

This reverts commit f35a2f4e8e201c767404b5a4980e63bcccab634d.

Fix debug mode build option typo

Debug mode build option --w is unrecognized.
c++: error: unrecognized command line option '--w'
change to '-w' option for inhibit all warning messages.

Signed-off-by: Kwanghoon Son <k.son@samsung.com>

Fix(#2) build error due to toolchain upgrade (gcc6->gcc9)

Error caused by -Wno-deprecated-copy, -Wcatch-value, -Wstringop-truncation are fixed.

Change-Id: I26405d9942f8b8803e2e9f0b2d8f5a984e69da4c
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Migration with OpenCV-4.2.0

Change-Id: Ib547582b318c1d33bc0e4d9579d9f64c30685f76

migration opencv-4.2.0

Change-Id: I12356a6de66a26986bf2539e406cc364fc4a121a
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix build error due to toolchain upgrade (gcc6->gcc9)

Error is caused by "call of overloaded 'abs(size_t)' is ambiguous"

Change-Id: I96e14a791203931767e3e32b64d7b45a50c56430
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Update feature element reference link

Change-Id: Id90afaef09b9232df2404b653f78f1553c217bab
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Change reference link.

Developer.tizen.org is change docs.tizen.org.
So i change it following policy.

Change-Id: I6ab5ef3ced64f021b036fc25db17168bab1542e3
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Fix API description issues

Change-Id: I5d45d5ff5fa3505f00e07080b033b99500842dba
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix API description for doxygen.

Change-Id: Ia26568fd926d76867730842f19886c632f84665c
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Add MV_ENGINE_CONFIG_ATTR_TYPE_ARRAY_STRING to mv_config_attribute_type_e

Change-Id: Iae611fdc07aa982be3c3b988c27c50db7240633e
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Merge "Change ini file location." into tizen

Update mediavision_doc.h #2

Change-Id: I5f0af38c82ea8e38e10ceb684d8cf2cd5048d853
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Change ini file location.

Change-Id: I15f29b8b971b1f604510c1dbb07a898fb83bf926
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Fix NO_CATCH.LIBRARY issue by security check

Change-Id: I260628690969a6e75b1515d38df1c66807204ce3
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Update mediavision_doc.h

Change-Id: Ib338a10af9b937f24086789e7d82f35603b0515f
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix resource leak issues and svace issues

CID 1087571, 1087654, 1087562, 1087542, 1087540

Change-Id: Ia054980b6d7e76bef5895f48e1c89f6d3d1ef975
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Add an inference module with new APIs

Representative apis are:
1. mv_inference_image_classify()
2. mv_inference_object_detect()
3. mv_inference_face_detect()
4. mv_inference_facial_landmark_detect()

These are high-lever APIs based on dnn based vision inference functions,
such as image classification, object detection, and face and its landmark detection.

Change-Id: I9afd4dd5a58613e272a844e6f329230bf265cde6
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Move mutex unlock macro of '__globalGuard' to end of function.

It is safe to call AsyncTracker destroyer after all the work of pthread has been completed.
So i move to unlock macro to proper position.

Change-Id: I76aa7dcd6d7abe1de060e4bf252579cfe1e9be11
Signed-off-by: Hyunsoo Park <hance.park@samsung.com>

Make a gcov package for measuring coverage easier

Change-Id: I6f9935592dea0f480b8d3ecee974c051300d72f6
Signed-off-by: sangho park <sangho.g.park@samsung.com>

Fix build break with aarch64 and x86_64

Change-Id: I554d8eeb09f989c57bf8e9fc004bf0d9e1f28100
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix mv_source_fill_by_packet() when multiple bos are given

To get pointer address of planes from media packet,
replace media_packet_get_buffer_data_ptr() with media_packet_get_video_plane_data_ptr().

Change-Id: I11e80220bc73d303dce71227d7e0947dc668c44a
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Revert "Fix typo"

This reverts commit aaf491613f59fa3379075a7d882780e74cad346a.

Change-Id: Ic265af051ff2c7324d82445b9a4cff890945efb7

Fix typo

Change-Id: I9d8d9b48fd91d018257976c0fcd073c49133bca3
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Symbolic link capi-system-info explicitly to libmv_common.so

This patch makes mv_common to be clear symbolic link relation.

Change-Id: I25f507bbac81723b4d73d97729849a1f719e42a6
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Fix failure to record video results in testsuites

Change avmux_avi to avimux in video_helper in testsuite.

Change-Id: I565c8f59f6bd1ac42eaa4fde57cf023faff25d37
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

add -lmv_common to pkg-config files

Change-Id: I05d575e0e38d10c2187730ab46723cd03f3aa6da
Signed-off-by: sangho park <sangho.g.park@samsung.com>

Remove dlog from pc_dependents

Change-Id: Iaa7417463be8a1a23c2d554aa82c556de4eb62d0

Add null check after g_array_new() in image_test_suite.c

Change-Id: Idfc72e069489adfe0d625b518d7a00588ac48c1e
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Add gcov environment

Signed-off-by: SeokHoon Lee <andy.shlee@samsung.com>
Change-Id: If373936e91d972b36763afbfb4d33a36427213b9

Add codes handling exception thrown by OpenCV

In the worst case, the memory size over the limitation is required
and then OutOfMemory exception is thrown, resulting crash.
This patch handles the exception and prevents crash.

Change-Id: Ie9bb0346cf53bc59d8a9da7e4758c2011cda9f1e
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

Remove unnecessary log printing while face detection

While face detection, check engine_config and print logs even though engine_config is null.
This patch modify those parts.

Change-Id: I07b664268b64d68d2638f61cc9d74be33827b3c5
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

fix Coverity issue

[CID:860216] Arguments in wrong order

Change-Id: Ib1d18a6f2638c440692f985a2cb862896ebb0eb2
Signed-off-by: sangho park <sangho.g.park@samsung.com>

Fix Wformat build error

Change-Id: I89c3483d0fac57ebc1d328a5752c776341939dcf
Signed-off-by: yhji <yhji.lee@samsung.com>

[UTC][capi-media-vision][NON-ACR][SVACE]
WGID-279240 : add try-catch to convertSourceMV2GrayCV() internal API.
WGID-347564, 347565, 347566 : add NULL checking.

Change-Id: I0bcc82e109243a8028c0fd9bd47c69126320c197
Signed-off-by: sangho park <sangho.g.park@samsung.com>