[ml-service] Add training offloading service to ml-service

- Add function for training offloading
- Add function to transfer trained model
- Add node information to transmitted pipeline information
- set sink callback by node name of node information
- Add stop func for ready to complete model training
- Add test case

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[CodeClean] remove unnecessary code

Code clean, remove unnecessary code and update log before updating internal function (related to ml-offloading).

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Service] change ml-agent param

To remove unnecessary dbus-sig, add force-delete flag in ml-agent interface.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[armnn] Remove armcl dependency

 - Remove armcl dependency .

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[android] do not remove android-resource dir

nnstreamer-android-resource directory is changed not to download using scripts.
So it shouldn't be removed.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

Tests/CAPI: Add more negative test cases

This is a trivial patch that adds more negative test cases for the
inference C-APIs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[action] replace TAOS-CI script for android build in API Level 34

This patch replaces TAOS-CI script for android build.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[CodeClean] fix svace issues

Code clean, fix svace issues and remove unnecessary code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Android: Support API Level 34 with GStreamer-1.24

This patch mainly revises the gradle and ndk-build build scripts
to support Android API Level 34 with GStreamer v1.24
(the latest GST release as of 2024.03).

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ml-service] code clean - error handling, parse tensor data

 - Remove unnecessary error handling
 - Handle error case
 - Parse tensor data more than 1

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[ml-service] Change node type

Change ml-service node type from pub/sub to query server/client to send
reply.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[ml-service] Rename ml-service-remote to ml-service-offloading

Rename ml-service-remote to ml-service-offloading

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[ml-service] Integrates remote service into ml-service

 - Integrates remote service into ml-service
 - Separate the common part of ml-service-extension to ml-service and
ml-servie-extension.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[TEST] Fix wrong logical operator

Fix wrong logical operator to break the loop.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Test] ml-agent install prefix

Add definition to get the install prefix to run the ml-agent for unittest.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen] Update unittest build script

Fix tizen auto coverage measurement failure.
Use default root path instead of environment variable.
The model path of the config file is hard coded, so the wrong model path is passed to ml-service.

config_single_add.conf
```
{
    "single" :
    {
        "framework" : "tensorflow-lite",
        "model" : ["../tests/test_models/models/add.tflite"]
    }
}

```

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[C-Api] unnecessary info handle

Code clean, remove unnecessary code to create info handle for internal usage.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/Service] add new test to get model from ml-agent

We can register new model (or pipeline) using ml-service API.
Add test for registered key from ml-agent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Service] remove macro for old API

Remove unnecessary macro for old API set.
We should update Tizen test later.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Java] Allow 0 value dimension

This patch allows 0 value dimension in setDimension function.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[C-Api/Service] update ml-service pipeline

Update API name prefix - ml_service_pipeline.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] use util function to copy tensor info

Code clean, use internal util function to create and copy tensor info handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] remove unused param

Code clean, remove unnecessary param - bus type to run agent in testcase.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Util] public function for tensor-data

Add new util functions,
1. clone tensor-data handle.
2. get tensors-info of tensor data frame.

This requires ACR for public release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] update API description

1. Add remarks to release output handle.
2. Move custom-easy callback to nnstreamer.h. This is used on pipeline, not a common function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Service] add new API (ML-API ext)

Add new API set for ML service, these functions support constructing new handle from json configuration.
- type for ml-service: single, pipeline

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen] Fix gcov build error

Due to the lcov 2.0 upgrade, the warning is changed to error so the gcov build fails.
Ignore this case. (Tizen PM guide)

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Build] remove unnecessary script

Code clean, remove unnecessary code and update script related with ml-agent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

MLAgent: Remove ml-agent from this repository

This patch removes ml-agent and modifies the build scripts and Tizen RPM
spec file as well.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean/Service] set null after free priv data

1. set null after releasing priv data in service handle.
2. remove unnecessary param in query priv data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] condition to validate handle

Check priv data when validating ml-service handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] check empty key value

Code clean, check empty string case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Agent] invalid handle type

Temporal bug fix before removing ml-agent from api repo.
Fix invalid handle type and check return ptr for gerror.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Service] internal function for ml-service handle

Code clean, prepare new API for ml-service extension.
Add internal function for ml-service handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix svace issue

Code clean, fix svace issues about lock in single/pipeline handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] user-data for sink/src callback

Separate user-data for appsrc/sink callback.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Android build fix: ll is a personal alias

Remove presonal alias from the build script.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C-Api] sync param to public header

Code clean, update param name (sync to public header) and check null param.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] test condition

Add pre/post condition for test, clear test data after unittest is finished.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] invalid casting of ml-option

Fix invalid casting after allocating option handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Single] data handle passed to invoke thread

Set in/out data handle those are passed to invoke thread, also clearly release data when closing the thread.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] remove space of models

To prevent not-found error, remove space of model path.
Also check file existence when validating model files.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] new nnfw enum

Add new enum - onnxruntime and ncnn.
This requires new ACR for next release.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[Daemaon/Service] Add DB_PATH to the error message for DB open failure

This patch appends DB_PATH to the error message for failure in opening
the database file. Note that DB_PATH is not the SQLITE3 database file,
but the path prefix where the file is placed.

CC: Jaeyun Jung <jy1210.jung@samsung.com>
Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Add omitted build dependency on libtzplatform-config

This patch is a trivial bug fix that adds an omitted build dependency
on libtzplatform-config to the Tizen RPM spec file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test] remove unnecessary info handle

In testcase of ArmNN, remove unnecessary tensor-info and compare dimension after getting info handle from model.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Change gbs repo from latest to reference

Change gbs repo from latest to reference.
the default location of the ".gbs.conf" file has the highest priority.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

Change to external resouce download method

Downloading a specific directory of git using svn is no longer supported.
Change the method of downloading from svn to git.
refer: https://github.blog/2023-01-20-sunsetting-subversion-support

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Test] testcase with tf-lite ver1.x

We will remove tf-lite ver1.x on tizen release, fix related testcase.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] dependency to ml-agent

Prepare deleting ml-agent from api repo, set dependency to ml-agent and remove unnecessary line.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent and codestyle

Code clean, fix indent and code style.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Pkg] update dependency to nns library

Update pkg dependency to nnstreamer library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Java] create extended tensor-info

Create extended handle for max rank limit 16 in java native code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Tizen] dependency of tizen feature

Code clean, update dependency for each tizen features.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] update testcase - set_info

Sync to tct, update testcase - change model dimension.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] restore test

Code clean, now max number of tensors in nnstreamer and api repo is same.
Restore old test to compare the max tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix svace issue

Check null ptr when getting n-th tensor info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, change data type to get the path from ml-option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] clear flag to delete old model

Parse clear field from json, to delete old model or resource from database.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Common] check invalid dimension

Check invalid dimension case before updating tensor-info handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] use tensor-info struct from nns

Use gst-info struct and util functions from nnstreamer.
Remove unnecessary functions for ml-info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-service] Set nns-edge handle ID.

Let's generate edge handle ID automatically by default.
The user also set edge ID using ml_option_set().

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[TEST] Code clean: Use G_DIR_SEPARATOR_S

Let's use G_DIR_SEPARATOR_S instead of "/".

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Remote-service] Add a path to save the model

Add a path to save the received model file to the ml-option.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service/Query] clone data in sink callback

Code clean, use public function to clone tensor-data handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Java] max rank and tensor limit

sync to native API, update max rank and tensor size limit.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/CodeClean] struct for tensor memories

Code clean, use GstTensorMemory struct defined in nnstreamer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Single] create in/out handle in single-shot

Use gst-info and create handle inside of single-shot instance.
Referencing struct does not initialize lock and other variables.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Pipeline] create handle before calling sink callback

1. Create tensors-info handle before calling sink callback.
2. We do not need to use ml-info in pipeline elem struct. Use gst-info instead.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Pipeline] remove total size

We do not use total size of tensors.
Remove unnecessary variable for total data size.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Code clean, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] parse json for database update

Parse json file and update model/pipeline/resource data when installing res-pkg.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Util] extended dim of 0-initialized

We implemented 0-init dimension in nnstreamer.
If dim value at index of old rank limit (4) is not 0, it is extended.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-remote-service] Add service event cb

Add remote service event callback

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[C-Api/Single] remove rank list

We implemented 0-initialized dimension in nnstreamer.
Remove unnecessary rank list from single handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Code clean, fix typo and indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] active flag from json

1. Update 'activate' flag from json when registering new model info from res-pkg.
2. Allow null description in json, description string is not mandatory field.
3. Fix log message, hide app info string.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-service] Set transaction

There is some timing issue to save the changes in DB,
set trasnsation for INSERT/UPDATE command.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

MLAgent: Change the name of ML-Agent

This patch changes the name of ML-Agent from ml-agentd to ml-agent.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Tests/CAPI: Fix trivial sign-compare warnings

This is a trivial fix to silence sign-compare warnings in a unit test
case for inference C-APIs

/usr/src/googletest/googletest/include/gtest/gtest.h:1545:11: error: comparison of integer expressions of different signedness: ‘const unsigned int’ and ‘const int’ [-Werror=sign-compare]
1545 |   if (lhs == rhs) {                                                                               |       ~~~~^~~~~~                                                                            cc1plus: all warnings being treated as errors

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean] internal function to release svc handle

Prevent error case if nns-edge dependency does not exists.
Add internal function to release ml-svc handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] option to get framework

Add key to get the neural network name from ml-option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] function name

1. Update ml-remote function name, prefix 'ml_service'.
2. Hide internal enum and struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Query] use caps property

Use 'caps' property in appsrc, not caps-filter.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] add const tag

Code consistency, add tag in return val field.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Spec] Remove armcl dependency

Remove armcl dependency when nnfw is enabled.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[test] Add missing deps for service unittests

- Add service_dep dependency to service related unittests.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Release] start impl for next release

Update version, start implementation for next release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverity] Fix resource leak

Fix resource leak reported by coverity

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service] Check return value

 - Fix unchecked return value.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Release] update version

Update version to 1.8.4, Tizen 8.0 M2 release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] dependencies to nns-edge and curl

Add feature and enable remote-service when curl and nnstreamer-edge is available.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-service] Move remote api to tizen-internal.

Move ml-remote-service api to tizen-internal.
They are expreimental API.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Services] Remote model register

 - Impelent registering model relotely
 - Add unit test

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Coverity] Use snprintf instead of sprintf

Let's use safer form of the sprintf() function.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Tizen] disable nns-edge on TV profile.

Disable nnstreamer-edge on TV profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Test] cleanup testcases

Code clean and fix error case, now rank limit of nnstreamer is changed to 16.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] Register pipeline description

 - Register pipeline description
 - Add unittest to register pipeline

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service] Add remote service register function

Add the function that registers remote service such as NN models,
pipeline description and etc.

Signed-off-by: gichan <gichan2.jang@samsung.com>
Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Build] name of manifest file

Change manifest file name, common machine-learning api.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>