auto_zoom: check nullptr correctly

Check nullptr correctly for each node.

This patch will fix a coverity issue, CID-1789481.
Ps. I will post other patch later, which will hide relevant exception code
into task manger.

Change-Id: I077269a73b4f03b5fbe66541e9705d5a92013085
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: fix coverity issues

Fix coverity issues - 1789460, 1789472 and 1789481.

Change-Id: I7680db3de79574404f39faed79f9baf6b8342e42
Signed-off-by: Inki Dae <inki.dae@samsung.com>

backends/mediavision: do not throw at dtor

Change-Id: I25ea8eb5dc9859914ac5e93aa6b0f0d022d51a8f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

common: use unsigned long type instead of unsigned int

Change-Id: I0853882425d9c1543a22b854b5700603746dcc3d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manger: fix coverity issue

Fix coverity issue - CID 1789482 - Data race condition by making sure locking
before pusing a new thread to _threads.

Change-Id: I94d142822972e057ba7ba9681c1c582589d9a503
Signed-off-by: Inki Dae <inki.dae@samsung.com>

common: fix coverity issue

Fix coverity issue - CID 1789473 - Using invalid iterator by dropping
invalid iterator access.

Change-Id: Ia7d251e13222b423e5718fe18f75666a7836be7b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: fix coverity issue

Fix coverity issue - CID 1789471 - Waiting while holding the lock by unlocking
just after the completion of _capture_event.wait_for().

Change-Id: Ia2cb4f9878f57c030273a62d2aadaf30d38e70fe
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: fix coverity issue

Fix coverity issue - CID 1789468 - Data race condition by making sure locking
before accessing to context->_isCaptured.

Change-Id: I61f1cfa77c65101c810b4cfd5e2fb32a51b9210d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: fix coverity issue

Fix coverity issue - CID 1789466 - Data race condition by making sure locking
_inputQ.size() access.

Change-Id: I89c18dba3abafc69ca242e3b8fa7774b1956b2e1
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manger: fix coverity issue

Fix coverity issue - CID 1789443 - Data race condition by adding
missing lock.

Change-Id: I369e603c95a6a908df760f4cc5e5ddeb9c60b576
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: fix coverity issue

Fix coverity issue - CID 1790310/314/317/329/335 - Uncaught exception.

Change-Id: I91779a6047edaed9005621c00b4a21ae7ca6a965
Signed-off-by: Inki Dae <inki.dae@samsung.com>

backends: fix svace issue

Fix svace issue - WGID 245662 and 245663 - UNINIT.CTOR.

Change-Id: If2295d9ec8b70e3b5fa3ed68582877893b1a8db5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: fix svace issue

Fix svace issue - WGID 245644, 245645 and 245646 - DEREF_OF_NULL_DYN_CAST.

Any dependency from getDependencies() could be NULL so if the dependency
is NULL then skip it.

Change-Id: I9c3fe1f4d488b3b9c538d7b505987bb2b2f157aa
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: fix svace issue

Fix svace issue, WGID 245634, DEREF_OF_NULL.DYN_CAST.
node could be null so make sure to check if node is null or not.

Change-Id: I3cc83ea19aafc80b1fdd4ea82d2a8fe96d9156f9
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: do not build visualizer

Do not build visualizer and relevant test binaries.

The visualizer is used only for test so this patch disables
visualizer module and relevant test binaries in default.

If we want to enable visualizer then just set below flag to 1 in spec file,
   %define enable_visualizer 0

Change-Id: I1a86bf215ed553c9d4e5bd342597bf2ce6c552ae
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Add FocusFinder class as dummy

As the first commit for FocusFinder,
FocusFinder class is added to Service and
FocusFinderTest for Create and Destroy is added as gtest.

Details implementation codes will be added with next patches.

Change-Id: I981612aee1ef9767af6f1cb4f497abaaf1058d6d
Signed-off-by: Tae-Young Chung <ty83.chung@samsung.com>

use DLOG for Tizen

Use DLOG for Tizen platform.

Singleo framework will be installed in Tizen platform image soon
so change the log backend to DLOG.

With this patch, we can check singleo logs by typing like below

Change-Id: I79314f967369dfec8cc82d7ccbbf3c0157821326
Signed-off-by: Inki Dae <inki.dae@samsung.com>

services: introduce filter for preprocessor

Introduce image filter for preprocessor.

The camera is highly affected by lighting, and the contrast ratio
varies depending on the brightness of the captured image.
If the contrast ratio is not good, it has a negative impact on
the inference results. Therefore, to improve the contrast ratio
for the captured images, this patch adds a filter - ClaheFilter - in the
preprocessing module. As of now, only one filter - ClashFilter - is supported.

This feature is implemented with Stategy pattern for maintainability
so that other filter can be added easily and also other clients such as
postprocessing module can use it.

In addition, this patch changes API of preprocessing and postprocessing
modules to be consistent.

Change-Id: Iff7fe64c1be562c80da859e0b26b9fa0acac8138
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: consider for synchronous API

Issue type : bug fix

Consider for synchronous API when adding Autozoom result to post processor.

Change-Id: Iedac1f171f1f7f138ab4093b83b4fff19dcff5aa
Signed-off-by: Inki Dae <inki.dae@samsung.com>

visualizer: fix an build error on Tizen-Unified-X

Issue type : bug fix

Fix an build error on Tizen-Unified-X which is sync version of
Tizen-Unified but uses GCC 14.

The build error[1] happended because singleo_util_winsys.h uses uint32_t type
but never include <cstdint> so include this header.

[1]
[   93s] In file included from /home/abuild/rpmbuild/BUILD/singleo-0.0.1/visualizer/src/singleo_util_winsys.cpp:18:
[   93s] /home/abuild/rpmbuild/BUILD/singleo-0.0.1/visualizer/include/singleo_util_winsys.h:27:9: error: 'uint32_t' does not name a type
[   93s]    27 |         uint32_t serial;
[   93s]       |         ^~~~~~~~
[   93s] /home/abuild/rpmbuild/BUILD/singleo-0.0.1/visualizer/include/singleo_util_winsys.h:1:1: note: 'uint32_t' is defined in header '<cstdint>'; this is probably fixable by adding '#include <cstdint>'
[   93s]   +++ |+#include <cstdint>
[   93s]     1 | /**
[   93s] make[2]: *** [visualizer/CMakeFiles/singleo_visualizer.dir/build.make:163: visualizer/CMakeFiles/singleo_visualizer.dir/src/singleo_util_winsys.cpp.o] Error 1

Change-Id: I08153159a623ed1f3ebc2243907c3dadf5033c9d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: do not call result() two times

Do not call result() two times.

We can use a reference instead of calling result() again.

Change-Id: I0378f9a533cbacd146b57168aa60e17d5947cfca
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: fix a bug that node is waked up regardless of dependency

Fix a bug that node is waked up regardless of its node dependency.

This bug can be reproduced like below,
[example graph pipeline]
input --- face detection --- bridge --- face landmark --- endpoint
               |                                       |
               ----------------------------------------

endpoint node will be waked up regardless of its node dependency after
previous iteration of above graph pipeline is completed because
_completed of face landmark node is true after previous iteration so
wait() just returns like below,
    void TaskNode::wait()
    {
        unique_lock<mutex> lock(_mutex);

        // If already completed then just return.
        if (_completed) // <- here
        return;

        _event.wait(lock, [this] { return this->_completed; });
    }

Therefore, make sure to set _completed as false in clear()

Change-Id: I6595e7199e2dc9aa3ecbcaa0fedcddcbc74e7166
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: fix memory leak issue

Fix memory leak issue to SharedBuffer objects when task manager is performed.

The memory leak happended in two cases,
1. ref_count of SharedBuffer class wasn't discounted correctly because
   'std::atomic<int> ref_count' isn't initialized.[1] So clear it correctly.
2. missed to release input buffer. As for this, it moved the release call
   from each node class into threadCb of TaskManager class so that making
   sure to miss releasing the input buffer. With this, each node class
   is free to care about the buffer release.

Regarding the memory leak, this patch introduces buffer tracker which
manages to check if each buffer is released or not.

In addition, use call by reference as a parameter of setOutputBuffer function.

[1] https://saco-evaluator.org.za/docs/cppreference/en/cpp/atomic/atomic/atomic.html

Change-Id: I3b20a7b9962e086a6d95bc04d996f527efc545eb
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: do not clone on input buffer

Do not clone on input buffer in case of BranchNode.
Branch node just selects valid next nodes so never modify
the given input buffer.

Change-Id: I75d34ed5c1eb881e9b966809c329c52bf6f622b0
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/opencv: list up valid fps and use it

List up valid fps through OpenCV and use user-given config value
instead of fixed one. OpenCV cannot list up valid fps itself
So this patch uses a local fps table - which includes only well-known fps
values - to check if each fps in the table is valid or not, and to update
only valid fps.

Change-Id: If6fc2ebf2f9c79e5b99126dd4000b1bbcb700b9b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: optimize auto zoom service

Optimize auto zoom service by
- making RGB image data to be used for GL texture and then dropping
  color space conversion work.
- skipping postprocessing if the zoom-in/out isn't needed.

Change-Id: I624380bdeea7d6dea626a31c85bec249b219603e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: list up valid fps and use it

List up valid fps through Camara API and use user-given config value
instead of fixed one.

Change-Id: Ied13ed85ad8482fb0e8c3927fd1c68fdee90e928
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: refactor task manager test case

Change-Id: I06f1a57e6f22c4ba31f8b024ed16fa300879311a
Signed-off-by: Seungbae Shin <seungbae.shin@samsung.com>
Fixed conflict and modified member order of Rect structure properly
to be suitable for answer value order.
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manger: fix AutoZoom not working issue

Fix an bug that AutoZoom service doesn't work since the patch,
"task_manager: introduce _status member in each node"

The problem happened when AutoZoom service is performed. AutoZoom service
can zoom in or output according to detected results. However, the patch
made zoom-in to work even no detected result.

As for this, this patch fixes the problem by clearing _results of each
node class at top of invoke() function.

Change-Id: I4509e6c17bddc84ef377283111e6f0ea02909d65
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: use raw pointer instead of shared_ptr

Use unique_ptr and raw_pointer instead of shared_ptr.

With shared_ptr, we have to manage the pointers carefully
because memory leak can happen due to the cyclic dependency issue[1]
So use raw pointer instead.

[1] https://stackoverflow.com/questions/22185896/what-is-the-cyclic-dependency-issue-with-shared-ptr

Change-Id: I86b02537d9e8db0f970ad36def395a165a992a36
Signed-off-by: Inki Dae <inki.dae@samsung.com>

fix roi bug

The roi was sometimes out of bounds which caused runtime_error.

Change-Id: Ic54472dbfd4f5c24554c4ac4747753644bb860c0
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

task_manager: add support for BRANCH node

[Issue type] new feature

Add BRANCH node support which can decide data path in
the task manager during execution.

Change-Id: I83ac8d6f6a3204635b79f1e2b2a848e82688e36b
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

CameraApiBackend: set camera device according to config

[Issue type] bug fix

The camera device was being set in the constructor and
had no effect from the config. This patch fixes this behaviour.

Change-Id: Ic44b09b4cb60cccd413a728cd11b3444b39036a9
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

async_manager: minor bug fix

pop() function of std::queue destroys the front object
so it needs to be moved before returning.

Change-Id: I08036b48ec9c6989ea59003ce94c785f721ed378
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

services: fix seg. fault issue

Fix seg. fault issue.

The issue happened because invokeThread() callback of AsyncManager class
was called after camera service had been terminated, which in turn,
the callback of branch node tried to access invalid buffer.

So this patch makes sure to wait for the completion of AsyncManager's thread
after the camera service is off.

Change-Id: Ic64f2fd88f880b2eab9ec26b58cc7252bfb16930
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: add new test case

This testcase checks whether the nodes after bridge node
are run if bridge node dependencies fail.
The graph looks as follows:
input -----> OD ----- bridge -----> IC -----bridge -----> IC -----> endpoint ----> output
             |                                                          |
             ------------------------------------------------------------

The input is a blank image so that object detection fails.
The intended behaviour is that endpoint node should not
be invoked.

Change-Id: I8cceb0710c6aed206d718c1ed10f18f3f952439a
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

task_manager: introduce _status member in each node

[Issue type] bug fix

The _status of a node can be NONE, VALID or INVALID.
If all dependencies of a node become INVALID, then current node
will also become INVALID and will not be invoked.

This patch also introduces _is_empty member in the BaseResultType
struct. If some task fails, this member is set to true so that
the corresponding task node can be set to INVALID.

Change-Id: I95a0068ae2ce4ca8e2f2fbf69696b7fe6683863d
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

Revert "task_manager: add RunQueueManager support"

This reverts commit 45564ae69a0dbc36ee9ee55e352e859fe83d653c.

RunQueueManager made the BFS behavior for visiting all nodes in the graph
to be broken. So critical problem happended. Revert it.

To hide node actions into node classes, we have to find another idea.

Change-Id: If65b5cc8cedef483a89d40198975a77322ccfe29

Documentation fixes and code refactoring

Change-Id: Ic98bf07ccc825ee48ea08f605bc8d8c4d8c20b42
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

CameraApiBackend: set active camera

[Issue type] bug fix

Change-Id: I0208af34eca47f174c5c54bf27370ef0a3dca222
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

services: use const std::string &key

Just code cleanup by using const std::string &key intead of just std::string
key as an paramter of setXXX function in ServiceConfigParser class.

Change-Id: I02bf6a9ff60673f0621ea683870c983ab37a5c0f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

add external service support as a plugin

Add external service support as a plugin which can be built as separate git
repository for product teams.

As for this, this patch exposes common header files so that the external
git repository can refer to the header files to develop a new service.
Ps. task manager is allowed only for built-in service so we don't expose
task manager relevant header files yet.

With self-registeration factory pattern, we can *add* a new service and *use*
it in runtime without recompling SingleO framework.

What you have to for adding your own external service are,
   - build your own git repository and create a so library file.
   - install the so library file to user target device.

Now we are ready for the use of the new external service. Just change
the service name like below,
singleo_service_create("service=user-service-name, ...);

Change-Id: I2e04c53820c6bc5602f7b8259d32f17b0411315a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

log: do built-in log

Just do built-in log. This patch makes log directory to be built-in
instead of building an library file.

Change-Id: I2d374309041b85fe6ded8171d8c3a2bd74c31a36
Signed-off-by: Inki Dae <inki.dae@samsung.com>

fix a memory leak bug

Just fix a memory leak bug by releasing singleo service context
when the service is destroyed.

Change-Id: I8b7856e34d8ff3d171656960d8aa6e6d7c9dac68
Signed-off-by: Inki Dae <inki.dae@samsung.com>

service: code refactoring to ServiceFactory class

Do code refactoring to ServiceFactory class by changing the use
of macro - REGISTER_BACKDEND() - to the use of template.

Change-Id: Idecb462c67150cfdbb0794b14e93124033fa9693
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: add RunQueueManager support

Add RunQueueManager class which schedules nodes of graph in runtime.

With this patch, we can drop some node dependency from task manager
by making each concrete node to update next nodes which will be
scheduled by task manager.

Change-Id: I7c448aa5ae579b2f61ec2e5b765789f2e82966ad
Signed-off-by: Inki Dae <inki.dae@samsung.com>

fix build error due to Mediavision ACR

Fix build error due to Mediavision ACR.
Recently, Mediavision API has been changed so Mediavision backend
of SingleO framework should be updated.

Change-Id: Icba1b75f0bf0bc06440db38ea9c1d890836f4f8f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: add rule for unique node name

[issue type] code refactoring

Add rule for unique node names in the task manager.
This will be useful in future for referring to nodes
in the branch node callback.

Change-Id: Ic08134dc225c6b5e6cd5cbafc699608447d346bf
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

auto_zoom: add face recognition support

Add face recognition task node support to Autozoom service.

With this, this patch adds face recognition task for Mediavision
and then adds the face recognition task node in graph pipeline
of Autozoom service.

And also it supports runtime behavior change of the graph pipeline.
I.e., graph pipeline of Autozoom service is as follows,
    input --- face detection --- bridge --- face recognition --- endpoint
                    |                                         |
                    -------------------------------------------

In this case, we have to consider for two cases,
   - if face detection node failed then bridge node should stop to invoke
     face recognition node.
   - if face detection node worked then bridge node should invoke the
     face recognition node.

This means that bridge node has to decide whether next sub graph pipeline
should be invoked or not in runtime. This patch makes this behavior to be
possible.

Ps. face recognition needs pre-trained model so install the model file
    after training the model using face recognition training API.
    Otherwise, face recognition result will always be 'none'.

Change-Id: I0adfd553285b2e22f551e38fc95a406a0fd9acd5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: add support for image classification task

[Issue type] new feature

Change-Id: I30209de4a5fd2b8f45ef15a79caa6b30ea6ddc1a
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

task_manager: spawn threads in BFS manner

[Issue type] code optimization

After this change, threads for each node will be spawned
only when any of its dependency nodes has finished processing.
This change greatly reduces the number of sleeping threads in
a large graph.

Change-Id: I4ce9c8bfcf3d6395f3a5cfabc5c160242faea26a
Signed-off-by: Vibhav Aggarwal <v.aggarwal@samsung.com>

task_manager: wait for dependency in threadCb

Wait for dependency in threadCb of each node.
By doing this, it will show more performance than before
because each node is performed in each thread context at the same time.

Change-Id: Ibbd1aafafa110957a0b75a39db78baf6f703b761
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: update graph verification

Update graph verification by adding _nexts member to check the type of
next node.

Change-Id: Id7fbac1a89d7123c9c008a781c0c3a49a29997e5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: check duplicated node

Check duplicated node by introduing isNodeDuplicated function.

Change-Id: Id7eadd1daaa8d8c87ba91df5003c2cd004f09c60
Signed-off-by: Inki Dae <inki.dae@samsung.com>

introduce SharedBuffer class

Introduce SharedBuffer class which can be commonly used by singleo
sub modules. The purpose of SharedBuffer is to share buffer objects
- such as ImageDataType and RawDataType - between sub modules to avoid
from memory copy.

In this patch, SharedBuffer is used to share the input data objects
between nodes. The shared buffer objects will be released if no nodes
who use the objects.

I.e., with the test case, GraphD
                   -----> face_landmark_detection --------
... ---> bridge --|                                       |----> ...
                   -----> face_detection -----------------

Bridge node creates a SharedBuffer object with a new ImageDataType buffer,
and shares the SharedBuffer object with two nodes - one for
face_landmark_detection and other for face_detection without memory copy.
And then the ImageDataType buffer will be released by release() function
of ImageDataType structure after the face_landmark_detection and
face_detection nodes are completed.

In addition, this patch fixes a critial behavior issue that it does deep-copy
even type-casting, which leads unexpected memory leak.
Therefore, this patch moves deep-copy code into clone() of ImageDataType
structure because keeping the deep-copy code in ctor of ImageDataType
structure has two behaviors - one is deep-copy and other is just type-casting.
In general, type-casting never intend deep-copy so it's a wrong behavior.

Change-Id: I29e9ffb2ab8c2bdc9f4fbb67ec5b1591596bb291
Signed-off-by: Inki Dae <inki.dae@samsung.com>

drop SingleoInputManager

Drop SingleoInputManager and use internal queue of AutoZoom instead.

As for SingleoInputManager, I will introduce a reference counting based
generic buffer manager later, which can be used commonly by other sub modules.
As for now, the use of SingleoInputManager in AutoZoom is over-engineering.

Change-Id: I1c281e5dcbd97d5714b19f74906a0222b9c0b002
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: drop unnecessary type casting

Change-Id: I4024fa59419fbd1f7bd234b03fe70e9a1bc4007d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: code cleanup with clone() interface

Just code cleanup by adding clone() interface to BaseDataType.
With this interface, we can drop unnecessary casting.

Change-Id: Ia0056e744ff4330e33b6a2e53e3ee4e000d5109e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

auto_zoom: drop unnecessary code

Just cleanup by dropping unnecessary code.

Change-Id: Ia28d32d57119ce796235d15ae63b84bcec96791f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: delegate collecting the results to each node

Delegate collecting the results to each node. With this, we can use
only generic interface.

Change-Id: I5afd506bbc763fdcd86c18ac3980d295fd894c67
Signed-off-by: Inki Dae <inki.dae@samsung.com>

clean up with copy-constructor

Clean up with copy-constructor. With this patch,
Manual copy to ImageDataType can be dropped.

Change-Id: I1669ac0fe1706561b903bd59933a9f217f560fce
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: drop getters from nodes

Drop getters from nodes by delegating what the getters do to
specific nodes.

Change-Id: Id191f62a2153820a136c500fd29271eecd4f7603
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: verify if _nodes is valid graph or not

Verify if _nodes is valid graph or not by checking
- DAG(Direct Acyclic Graph)
- Start node should be a task node such as InferenceNode and TrainingNode.
- Last node should be a EndpointNode.
- BridgeNode should be located bewteen two task nodes such as InferenceNode
  and TrainingNode.
- BridgeNode should have a valid callback.

As for DAG verification, this patch uses BFS(Breadth-first search) algorithm.

Change-Id: I33edf100fa81a335ab094b6cfff512c1d2cd749e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: clean up test_task_manager.cpp

Clean up test_task_manager.cpp by dropping printing out messages
and verifying actual results instead.

Change-Id: I931ae19d85af584c276b3848f60616110a19ce1d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: introduce new node types and dropping code smell

Introduce new node types and dropping implicit use of CallbackNode.
Until now, CallbackNode had been used for two purposes implicitly
- one is for bridge and other is endpoint.

So this patch separates CallbackNode into two nodes - BridgeNode and
EndpointNode - so that CallbackNode can be used explicitly, and also
separates InferenceNode into two nodes - InferenceNode and TrainingNode
- by making these two classes to be derived from TaskNode.

As summary,
   - InferenceNode and TrainingNode are derived from TaskNode which is able
     to perform inference or training through machine learning framework.
   - BridgeNode and EndpointNode are derived from CallbackNode which is able
     to call an callback registered by user.

With this patch, graph rule of task manager is as follows,
    1. Start node should be task node such as InferenceNode and TrainingNode.
    2. Last node should be EndpointNode.
    3. BridgeNode should be placed bewteen two task nodes such as InferenceNode
       and TrainingNode.
    4. BridgeNode should have a valid callback but it's optional for other types
       of callback nodes.
    5. Multiple endpoint nodes can exist.

Change-Id: I4d2917d15cededc3fd11a93afd2db4b6fe5cbe5c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: cleanup to NodeCb

CLeanup to NodeCb by modifying its arguments - dropping all parameters and
add new one instead, shared_ptr<INode> &node.

user_data isn't required anymore because task manager already knows whether
current node is CallbackNode or Not.

Change-Id: I1df5d89149379ed16ed1029536a08036178c0b0b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: drop arguments from callback for CallbackNode

Drop unnecessary arguments from callback for CallbackNode.
Now CallbackNode can act like normal node such as InferenceNode
so drop the unnecessary arguments and get them(input and result)
from CallbackNode itself.

This patch is a step for separating CallbackNode into two nodes
- BridgeNode and EndpointNode - as I shared already, which will drop
the code smell that CallbackNode has two kinds of behaviors.

Change-Id: I25bbc87a1f1d9a82e5c7340b39b8d789599db933
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: get results when needed

Change-Id: Ifad7a833c8451435552a5ffb5f240ac6879ee02d
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: use nodes consistently

Use nodes - InferenceNode and CallbackNode - consistently by
adding output from CallbackNode to InferenceNode as input.
With this, we can make both kinds of nodes to have same working path.

Change-Id: Ifd1e57e5ab9c96293858e9b2320ab7714e3eece5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: check if cb and user_data are valid or not

Check if cb and user_data to callback node are valid or not. They are
mandatorily required to call a callback of the callback node.

Change-Id: I1050c6ff7a5133ea61e61cc23cd6534ed240a357
Signed-off-by: Inki Dae <inki.dae@samsung.com>

rename InferenceServiceInterface to InferenceTaskInterface

Rename InferenceServiceInterface to InferenceTaskInterface including
relevant code as we discussed before. The use of *service* terms made us
confusing specific service such as Autozoom.

Change-Id: Ibfcb51f333a7bbdb87c577edd5bcdd8cc6cceb0e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

services: do not use _threads as class member

Do not use _threads as class member. It's enogh with local threads handles
so drop _threads from class member and use local one instead.

Change-Id: Id99b0b5d51e5f02ff09aae1647be7e2645491e37
Signed-off-by: Inki Dae <inki.dae@samsung.com>

task_manager: check if _nodes is empty or not

Check if _nodes is empty or not in output(). To get the output result,
_nodes must not be empty. In addition, use _nodes.back() instead of
nodes[nodes.size() - 1] for cleanup.

Change-Id: I22a085578a2fcba36d97685434fd6188ece60b66
Signed-off-by: Inki Dae <inki.dae@samsung.com>

use observer pattern instead of callback approach

Use observer pattern instead of callback approach to get input feeded
data in runtime.

Until now, a specific service such as AutoZoom should have registered its own
callback function to Input service to receive captured input data
from a given input service such as camera. However, this approach made
it some limit because input relevant class called a callback of specific
service's class so some wrapper functions was needed to access its own members.

For cleanup, this patch introduces observer pattern by making each specific
service class to inherit IInputObserver class. with this patch, each specific
service class can register itself as input observer to input service like below,

// override inputFeedCb interface and implement it.
class AutoZoom::public IService, public IInputObserver
{
...
void inputFeedCb(BaseDataType &data) override;
...
}

// register itself as input observer to input service.
void AutoZoom::configure(...)
{
....
    _input_service->registerObserver(this);
....
}

In addition, this patch separates input configuration from ctor
and drops redundant code.

Change-Id: I83b3cadb031b68212fcfdd783054397d09a6b36a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

services: add callback node support as last node

Add callback node support as last node.

With this patch, we can place a callback node to last node
so that we can get the final results from the node.

For the test, this patch adds below test case - GraphC,
GraphC:
======
                             ---> callback ---> face_landmark_detection ---
 input --> face_detection --|                                              |--> callback --> output
                             ----------------------------------------------
Change-Id: Ia444b0d47480485cd81204bc0568badc8215ebfe
Signed-off-by: Inki Dae <inki.dae@samsung.com>

services: drop non-generic interfaces from INode

Drop non-generic interface from INode class by moving
specific interfaces to each concrete classes, InferenceNode
and CallbackNode.

Change-Id: I58848c38584fb893e7914c01b7196fdbb56e2acf
Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: add task manager test case

Change-Id: I5a56b83ff46da3e4484d8148ac979127d77e41ed
Signed-off-by: Inki Dae <inki.dae@samsung.com>

add task manger support for Autozoom

Change-Id: I1b9d70d5fae439122c95c84b78728282ca10a307
Signed-off-by: Inki Dae <inki.dae@samsung.com>

add task manager support

Add task manager support which provides multi thread based service
pipeline configuration feature in runtime.

Each service of singleo service framework can be implemented using
one or ones of various inference services such as face detection,
face landmark detection, object detection, and so on.

As for this, task manager consists of below features,

TaskManager : Specific service such as Autozoom or service groups - which can
              be introduced later - has one TaskManager handle.
ITaskNode : Interface class which can contain inference service,
            callback service, and training service(TODO)

Basically, TaskManager provides the interface that we can configure
specific service using graph concept.

I.e., Below graph shows a service which uses two kinds of task interfaces,
  one is for inference and other is for callback.
         ---inference_node_a ----
input ---|                      |----- callback_node ----- inference_node_c
         ---inference_node_b ----

With above node graph, inference node a and b can be performed in parallel,
and both outputs of them goes to callback node. After that, the callback node
creates a new data converted by original input data and results came from
inference_node_a and inference_node_b so that new data can be allowed by
inference node c as input source, and then passes it to the inference node c
as input source.

Finally, inference node c performs the the service request with the given input
and then returns the service result to user.

Ps. task service node will be performed with its own thread context.

Below is a example which configures above pipeline graph,
task_manager = make_unique<TaskManager>();
task_manager->input(src);

auto face_detection = factory->createFaceDetection();
auto inference_node_a  = make_unique<InferenceTaskNode>();
inference_node_a->addInferenceService(face_detection);
task_manager->addNode(inference_node_a);

auto image_classification = factory->createImageClassification();
auto inference_node_b  = make_unique<InferenceTaskNode>();
inference_node_b->addInferenceService(image_classification);
task_manager->addNode(inference_node_b);

auto callback_node = make_unique<CallbackTaskNode>();
callback_node->setCb(specific_callback, callback_node.get());
callback_node->addDependency(inference_node_a);
callback_node->addDependency(inference_node_b);
task_manager->addNode(callback_node);

auto face_landmark_detection = factory->createFaceLandmarkDetection();
auto inference_node_c = make_unique<InferenceTaskNode>();
infernce_node_c->addInferenceService(face_landmark_detection);
inference_node_c->addDependency(callback_node);
task_manger->addNode(inference_node_c);

task_manager->run();

result = task_manager->output();

Change-Id: I02cc508ee26aad8312629d0c69300f21f8221ba3
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: add face landmark detection support for Mediavision

Add face landmark detection support for Mediavision backend.

With this patch, move '_rects' member to each specific result structure,
and add _points to FldResultType for face landmark detection.

Change-Id: If0e801c6c01da247870e9ac3632d5953d90633c8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: drop InferenceTaskInterface

Drop IInferenceTaskInterface and its concreate classes which aren't needed
anymore. We can create targeted service through dedicated factory as
a IInferenceServiceInterface type.

Change-Id: I04e32648ff9e17cf85bc5d8d3032357e9f46379c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: apply abstract factory pattern

Apply abstract factory pattern. This patch uses abstract factory pattern
to create targeted inference service such as face detection, object detection
and so on from backend specific factory.

Regarding this, self-registeraion factory pattern is used to register
each inference service backend factory such as mediavision or mediapipe in
build time, and abstract factory pattern is used to create targeted inference
service from the inference service backend factory like below.

// create a given inference backend factory.
_factory = InferenceServiceFactory::instance().create("MvInferenceServiceFactory");

Ps. MvInferenceServiceFactory is inference service backend factory for Mediavision.
    So other backend factory such as Mediapipe will be added later.

// create a target inference task service from the given inference backend factory
_infernce_service = _factory->createFaceDetection();
or
_infernce_service = _factory->createObjectDetection();
...

Change-Id: I809bc733bd7e33a6779b6410422e3961129d7e0a
Signed-off-by: Inki Dae <inki.dae@samsung.com>

inference: apply self-registeration factory pattern

Apply self-registeration factory pattern to inference service.

With this patch, InferenceServiceDefault and InferenceServiceExternal classes
will be registered to inference factory table in build time, and
it will create InferenceServiceDefault or InferenceServiceExternal class
with a given class name in runtime. Regarding this, this patch
modifies existing build script so that inference service directory
can be built-in.

This patch is just a previous step for applying abstract factory pattern
as we discussed.

Change-Id: Icb21dc066bdf940926a9e764e40a48a82ffefed5
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input: code refactoring to CameraBackendFactory class

Do code refactoring to CameraBackendFactory class by changing
the use of macro - REGISTER_CAMERA_BACKDEND() - to the use of
template.

Change-Id: I3dc3db50dfd471abf5a3ca42489cde0bff0480cb
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: consider camera malfunctioning case

Consider camera device malfunctioning case by using timeout and
re-trying checking current camera state.

Change-Id: Icb757700b6674672447a0a9240b3a753887adf9e
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: fix typo

Change-Id: I763a6675dae318be01df80ab296eca2bc17ac15c
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: drop unnecessary thread

Drop unnecessary thread from CameraApiBackend. previewCb callback
will be called by different thread created by Camera API internally
so we don't need to create a new thread for preview.

Change-Id: Iba8cbba1ae59253e123787797ea21ca0e05ce9d8
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: add sync API support

Add sync API support by implementing capture method of CameraApiBackend class.

According to Camera-api document below,
https://docs.tizen.org/application/native/api/mobile/4.0/group__CAPI__MEDIA__CAMERA__MODULE.html
For capture, this patch follows the Camera API state diagram. However,
one tricky way is needed to make sure to wait for the "Captured" state
because completed callback since camera_start_capture call will be called
by main thread so sync API of singleo framework cannot use the callback.
Therefore, to make sure to wait for the state, we use a tricky way by
checking if current state is "Captured".

Change-Id: Ibe2ba23e0c1c9bb215976949a7d1a05cd1f98db6
Signed-off-by: Inki Dae <inki.dae@samsung.com>

packaging: cleanup flags

Change-Id: Ic9a548d66097d3503962ce88e770ddc1f085004b
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input/camera_api: activate user-desired camera device

Activate user-desired camera device by adding updateAvailableCameraDevices
and setActivateCameraDevice functions. With this patch, Camera API backend
collects valid camera device list and activates user-desired camera device
with config.device_id which is passed by user.

Change-Id: I8d44a2da1513957ee350497d328fd3c342284817
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input: use InputServiceCallbackType type

Use predefined callback type - InputServiceCallbackType - for code cleanup.

Change-Id: I72d9ac29ea3081e53c95f5c4c4f38af7fa6d3721
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input: add camera-api backend support

Add camera-api backend and change default input camera backend
from OpenCV to CAMERA-API.

Change-Id: Icc8aab35cbf491923045a2f7f4205ff2124af3a7
Signed-off-by: Inki Dae <inki.dae@samsung.com>

code refactoring to Input service

Code refactoring to Input service framework by doing,
 - introduce CameraBackendFactory class which creates Camara backend
   class corresponding to a given class name in runtime.
 - Integrate Input framework  with Service one. There is no reason to build
   separate library.
 - Drop redundant classes, CameraServiceDefault and CameraServiceExternal
   classes. Withoug Camera service classes, we can support vairous
   Input camera backends with CameraBackendFactory class.

Change-Id: I1f7090371efd2458834b14d1cbc05ce6326371af
Signed-off-by: Inki Dae <inki.dae@samsung.com>

input: use InputServiceCallbackType type for cleanup

Use InputServiceCallbackType type instead of specific function call
definition.

Change-Id: Ida1786011baa3d6fdb918b1128d41190f19e5a4f
Signed-off-by: Inki Dae <inki.dae@samsung.com>

Merge pull request #6 from inki-dae/main

Update native capi

update singleo_native_capi.h header file

Update singleo_native_capi.h header file by
- correct wrong descriptions
- update singleo_service_add_input_image_data and
  singleo_service_add_input_raw_data API by adding a option string which can
  describe speicific format type to user-given input data.

Signed-off-by: Inki Dae <inki.dae@samsung.com>

test: clean up by dropping redundant code

Signed-off-by: Inki Dae <inki.dae@samsung.com>

clean up README file (#5)

* clean up README file

Signed-off-by: Inki Dae <inki.dae@samsung.com>
* Update README.md

Co-authored-by: 비브합 아가르왈/Tizen Platform Lab(SR)/삼성전자 <v.aggarwal@samsung.com>
---------

Signed-off-by: Inki Dae <inki.dae@samsung.com>
Co-authored-by: 비브합 아가르왈/Tizen Platform Lab(SR)/삼성전자 <v.aggarwal@samsung.com>

Merge pull request #4 from inki-dae/main

Implement autozoom service algorithm

update README.md file

Signed-off-by: Inki Dae <inki.dae@samsung.com>