[Common/CodeClean] struct for tensor memories

Code clean, use GstTensorMemory struct defined in nnstreamer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Single] create in/out handle in single-shot

Use gst-info and create handle inside of single-shot instance.
Referencing struct does not initialize lock and other variables.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Pipeline] create handle before calling sink callback

1. Create tensors-info handle before calling sink callback.
2. We do not need to use ml-info in pipeline elem struct. Use gst-info instead.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Pipeline] remove total size

We do not use total size of tensors.
Remove unnecessary variable for total data size.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Code clean, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] parse json for database update

Parse json file and update model/pipeline/resource data when installing res-pkg.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Util] extended dim of 0-initialized

We implemented 0-init dimension in nnstreamer.
If dim value at index of old rank limit (4) is not 0, it is extended.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-remote-service] Add service event cb

Add remote service event callback

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[C-Api/Single] remove rank list

We implemented 0-initialized dimension in nnstreamer.
Remove unnecessary rank list from single handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Code clean, fix typo and indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] active flag from json

1. Update 'activate' flag from json when registering new model info from res-pkg.
2. Allow null description in json, description string is not mandatory field.
3. Fix log message, hide app info string.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-service] Set transaction

There is some timing issue to save the changes in DB,
set trasnsation for INSERT/UPDATE command.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

MLAgent: Change the name of ML-Agent

This patch changes the name of ML-Agent from ml-agentd to ml-agent.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Tests/CAPI: Fix trivial sign-compare warnings

This is a trivial fix to silence sign-compare warnings in a unit test
case for inference C-APIs

/usr/src/googletest/googletest/include/gtest/gtest.h:1545:11: error: comparison of integer expressions of different signedness: ‘const unsigned int’ and ‘const int’ [-Werror=sign-compare]
1545 |   if (lhs == rhs) {                                                                               |       ~~~~^~~~~~                                                                            cc1plus: all warnings being treated as errors

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean] internal function to release svc handle

Prevent error case if nns-edge dependency does not exists.
Add internal function to release ml-svc handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] option to get framework

Add key to get the neural network name from ml-option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] function name

1. Update ml-remote function name, prefix 'ml_service'.
2. Hide internal enum and struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Query] use caps property

Use 'caps' property in appsrc, not caps-filter.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] add const tag

Code consistency, add tag in return val field.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Spec] Remove armcl dependency

Remove armcl dependency when nnfw is enabled.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[test] Add missing deps for service unittests

- Add service_dep dependency to service related unittests.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Release] start impl for next release

Update version, start implementation for next release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverity] Fix resource leak

Fix resource leak reported by coverity

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service] Check return value

 - Fix unchecked return value.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Release] update version

Update version to 1.8.4, Tizen 8.0 M2 release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] dependencies to nns-edge and curl

Add feature and enable remote-service when curl and nnstreamer-edge is available.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ml-service] Move remote api to tizen-internal.

Move ml-remote-service api to tizen-internal.
They are expreimental API.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Services] Remote model register

 - Impelent registering model relotely
 - Add unit test

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Coverity] Use snprintf instead of sprintf

Let's use safer form of the sprintf() function.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Tizen] disable nns-edge on TV profile.

Disable nnstreamer-edge on TV profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Test] cleanup testcases

Code clean and fix error case, now rank limit of nnstreamer is changed to 16.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] Register pipeline description

 - Register pipeline description
 - Add unittest to register pipeline

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service] Add remote service register function

Add the function that registers remote service such as NN models,
pipeline description and etc.

Signed-off-by: gichan <gichan2.jang@samsung.com>
Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Build] name of manifest file

Change manifest file name, common machine-learning api.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[GCOV] Fix test failure of ml-agent test on RPI

 - Let's use system bus when we run installed tests on the tizen device.
 - If gcov is activated, pass the tests from gbs.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[C-API] Bugfix for ml_pipeline_element_get_handle

Need to ref element obtained by iterate_element() and unref it in cleanup_node() for common_elem

- common_elem by ml_pipeline_element_get_handle() need to unref in cleaunup_node() because g_hash_table_lookup assign new memory.
  but normal operation, unref is not necessary, so add ref in iterate_element()
- Now, the element's finalize function is called after ml_pipeline_element_get_handle()

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Coverity] Fix coverity issue

Resource leak occurs after ml_tensor_get_count() failure
- need to free ml_tensors_data_h
- change function call order to fix leak

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[C-Api] type of ml-information handle

Prevent invalid function call.
Add type of ml-information handle and macro to check the handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Github Action] Add gbs build for ml-api and nntrainer

Add gbs build github action for ml-api and nntrainer

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Tests] Update testcases to support 0-init dimension

This patch updates testcases to support dimension,
filled 0 by default.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[C-API] remove padded value of dimensions (0-init)

This patch removes padded value of dimensions.
Dimension in ml_tensor_info_s is 0 by default.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[CodeClean/Service] parse json in rpk

Code clean, define function to parse json file in rpk, including resource and pipeline update.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] function to get nth gst-info

Code clean, update code to get nth gst-info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] check index in tensors-info handle

Code clean, check index in tensors-info handle and update log message.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] update ml-agent interface

Code refactoring, update the name of ml-agent interface.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Svace] fix svace issue

Check null case when getting nth info of ml and gst tensor-info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] delete unnecessary log

Code clean, fix svace issue. Remove unnecessary log - data type.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Pipeline] element name for tizen media src

Code clean, get the element name from tizen media config and replace it.

TODO: handle properties for each element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean/Service] util to get app-info

Code clean, add util to get app-info string and reduce duplicated code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] util to parse app-info

Use common function to parse app-info and update ml-information handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/Test] valid ml-information handle

Set valid handle name in testcase - ml-information handle for model and resource API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] missed tag

Code clean, condition to release mem-block and add missed tag.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] handle app-info for ml-resource

Add new field app_info for tizen RPK install case, to manage app-information like model API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/Test] add test about ml-resource

Update testcase to use ml-resource API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] util to get app info

Define internal common function to get app info.

TODO:
New field for app info for ml-resource and the funtion adding ml-resource will be udpated.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] util to create info-list handle

Add internal util function to create ml-information-list handle.

TODO:
I will update another PR to cleanup info-list handle in ml-agent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] data from ml-service

1. Get resource info with insertion order.
2. We do not neet to export key from service-db.
   Add common json info to get the data from db and hide key from json info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] return val to parse app info

Code clean, return val if failed to parse app-info from json string.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[test] Use ml_information for ml_service_model APIs

- Since the signature of the API is changed, fix related test code.
- Add a negative TC for ml_information_list_h

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service/model] Replace ml_option with ml_information in service/model APIs

- Change service/model APIs to use newly added handle ml_information_h
  and ml_information_list_h

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Add ml_information, which is not ml_option

- Define ml_information_h and ml_information_list_h.
- Add related APIs
ml_information_
 - destroy
 - get
ml_information_list_
 - destroy
 - length
 - get

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api/Service] define API for ml-resource

Define new API set for ml-resource control.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] predefined dbus name

Code clean, use predefined dbus name in dbus-interface.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] ml-agent interface for resource

Implement ml-agent interface for ml-resource.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] add resource table

Add new table for ml-resource, and add functions for ml-agent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/CodeClean] reduce duplicated code

Code clean,
1. Add methods in service-db to reduce duplicated code.
2. Add key prefix for each table.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[test] Add TCs for Pipeline API with 32 in/out model

- Test NNStreamer pipeline for tflite model with 32 input / 32 output tensors
- one using videotestsrc / and the other using appsrc

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add TC for singleshot with 32 input/output tflite model

- Test Single for tflite model with 32 input / 32 output tensors.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add test for common util

- Add TCs for tensors_info handling ML_TENSOR_SIZE_LIMIT infos.
- Add negative TCs for newly added internal utils.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Change datatype_consistency test

- Remove tests with value `NNS_TENSOR_SIZE_LIMIT`
- Revert later when the value is changed.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pipeline] Let pipeline handle increased number of tensors

- Let sink and src element deal with tensors not memory using util function from nnstreamer
- Remove size check in `cb_sink_event` that is no longer valid.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Add utils for extra tensor_info

- Add util functions for extra `ml_tensor_info_s`.
- Replace index based access of tensor_info with newly added util
  `gst_tensors_info_get_nth_info` and `ml_tensors_info_get_nth_info`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Increase ML_TENSOR_SIZE_LIMIT 16 -> 256

- Increase `ML_TENSOR_SIZE_LIMIT` to 256
- Define `ML_TENSOR_SIZE_LIMIT_STATIC` and
  `ML_TENSOR_SIZE_EXTRA_LIMIT` to handle extra tensors

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service] util to init gdbus module

Fix log message, and add common function to initialize gdbus module.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[common] Refactor ml_option APIs to use internal ml_info

- Declare ml_info and related enum and structures. Add internal
  functions for create, destroy, set, get.
- Replace ml_option_s with the new internal structure in ml_option API.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[opton] Use ml_option_get to get value from ml_option_h

- Use the API rather than accessing internal structure.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service] set dbus-complete function

Set exact complete function in dbus callback.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] util to check file path

Code clean, add internal function to check the path of model or resource.
This will be used resource-add function later.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[API] function to get version

Add util function to get version of ML-API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] log string

Trivial, update log string before adding new API set.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] Remove deprecated header file

Since ml-api-service-internal.h is deprecated, remove the file.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

Daemon/Model: Add missing gst initialization

This patch adds GStreamer initialization procedure into
init_model_module. Without the initialization, D-Bus interfaces for
the models inproperly work.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Dist/Tizen: Include ml-agentd.pc in the ml-agnet-devel package

This patch updates the Tizen RPM spec file to add the ml-agentd.pc file
to the libmachine-learning-agent-devel package.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon/Meson: Add a pkg-config file for ml-agentd

This patch adds a pkg-config file that provides details for using the
Machine Machine Learning Agent service interfaces.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single] Fix macro value for rank

- Change size_limit to rank_limit in rank related methods

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Update Android-nnstreamer.mk

Updated Android-nnstreamer.mk for tensor_decoder::tensor_region sub-plugin in regard to https://github.com/nnstreamer/nnstreamer/pull/4115#discussion_r1230632289

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[fix] Fix mem leak in Single API

- Destroy ml_tensors_info_h in ml_single_close
- Call gst_tensors_info_free

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix] Fix memi leak in pipeline API

- Free GstTensorsConfig using gst_tensors_config_free
- Initialize ml_tensors_info_s before set a new one

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

fix svace issue.

error param should be paased to 'json_parser_load_from_data' since error_report acess to error message.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Tizen] Update coverage auto measurement script

 - Exclude 'ml-api-common-tizen-feature-check.c' and
'ml-api-inference-tizen-privilege-check.c' from the coverage report.
 - Change test directory before running the tests.

Error:
[DEBUG]:[ RUN      ] [mMLAgentTest.call_method
Error : GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.tizen.machinelearning.service was not provided by any .service files
[DEBUG]:../tests/daemon/unittest_ml_agent.cc:87: Failure

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

API/Client: Revise JSON cstring conversion code

This patch revises the mechanism that creates ml_option_h typed data
from a JSON cstring.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ml-service] Add 'app_common_internal.h' to support Tizen v7.0

In case of Tizen 7.0, app_get_res_control_global_resource_path() is
defined in app_common_internal.h. So this patch includes
app_common_internal.h to support both of Tizen 7.0 and latest Tizen.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] feature for tf-lite

Enable testcase if tensorflow-lite ver2.x is available.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] common log-util

Code clean, use common log-util in ml-agent code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

API/Client: Use nested scope for JSON handling

This is a trivial patch for code cleaning. Toward better readability,
nested scope and g_auto* are used for JSON handling.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon/DBus: Replace NULL with "" for the DBus out parameters

When the out parameter type is set to "s" (which means a string type
value), it should not be a NULL value. This patch fixes such a case
in the DBus callback implementation for the pipeline.

Signed-off-by: Wook Song <wook16.song@samsung.com>

API/Client: Replace g_new0 with g_try_new0

g_new0 would not work as the author intended. This patch replaces g_new0
macros with g_try_new0 macros so that memory allocation failure is
checked at runtime.

Signed-off-by: Wook Song <wook16.song@samsung.com>

API/Client: Revise null-checks for output parameters

This patch revises null-checks for the output parameters, which
require memory allocation at the callee side, to return an error when
the argument is NULL and to warn the leak possibility when the
dereference is not NULL.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon: Change the directory including header file to 'include'

To keep consistency with the C-Level API's header file directory, this
patch changes the directory including ML Agent Service's header files to
'include' from 'includes'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Service] deleting activated model

Add util functions in service-db,
1. prevent deleting activated model,
2. add util function to check model registration.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>