[C-Api/Service] define API for ml-resource

Define new API set for ml-resource control.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] predefined dbus name

Code clean, use predefined dbus name in dbus-interface.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] ml-agent interface for resource

Implement ml-agent interface for ml-resource.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] add resource table

Add new table for ml-resource, and add functions for ml-agent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/CodeClean] reduce duplicated code

Code clean,
1. Add methods in service-db to reduce duplicated code.
2. Add key prefix for each table.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[test] Add TCs for Pipeline API with 32 in/out model

- Test NNStreamer pipeline for tflite model with 32 input / 32 output tensors
- one using videotestsrc / and the other using appsrc

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add TC for singleshot with 32 input/output tflite model

- Test Single for tflite model with 32 input / 32 output tensors.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add test for common util

- Add TCs for tensors_info handling ML_TENSOR_SIZE_LIMIT infos.
- Add negative TCs for newly added internal utils.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Change datatype_consistency test

- Remove tests with value `NNS_TENSOR_SIZE_LIMIT`
- Revert later when the value is changed.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pipeline] Let pipeline handle increased number of tensors

- Let sink and src element deal with tensors not memory using util function from nnstreamer
- Remove size check in `cb_sink_event` that is no longer valid.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Add utils for extra tensor_info

- Add util functions for extra `ml_tensor_info_s`.
- Replace index based access of tensor_info with newly added util
  `gst_tensors_info_get_nth_info` and `ml_tensors_info_get_nth_info`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Increase ML_TENSOR_SIZE_LIMIT 16 -> 256

- Increase `ML_TENSOR_SIZE_LIMIT` to 256
- Define `ML_TENSOR_SIZE_LIMIT_STATIC` and
  `ML_TENSOR_SIZE_EXTRA_LIMIT` to handle extra tensors

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service] util to init gdbus module

Fix log message, and add common function to initialize gdbus module.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[common] Refactor ml_option APIs to use internal ml_info

- Declare ml_info and related enum and structures. Add internal
  functions for create, destroy, set, get.
- Replace ml_option_s with the new internal structure in ml_option API.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[opton] Use ml_option_get to get value from ml_option_h

- Use the API rather than accessing internal structure.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service] set dbus-complete function

Set exact complete function in dbus callback.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] util to check file path

Code clean, add internal function to check the path of model or resource.
This will be used resource-add function later.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[API] function to get version

Add util function to get version of ML-API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] log string

Trivial, update log string before adding new API set.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] Remove deprecated header file

Since ml-api-service-internal.h is deprecated, remove the file.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

Daemon/Model: Add missing gst initialization

This patch adds GStreamer initialization procedure into
init_model_module. Without the initialization, D-Bus interfaces for
the models inproperly work.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Dist/Tizen: Include ml-agentd.pc in the ml-agnet-devel package

This patch updates the Tizen RPM spec file to add the ml-agentd.pc file
to the libmachine-learning-agent-devel package.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon/Meson: Add a pkg-config file for ml-agentd

This patch adds a pkg-config file that provides details for using the
Machine Machine Learning Agent service interfaces.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single] Fix macro value for rank

- Change size_limit to rank_limit in rank related methods

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Update Android-nnstreamer.mk

Updated Android-nnstreamer.mk for tensor_decoder::tensor_region sub-plugin in regard to https://github.com/nnstreamer/nnstreamer/pull/4115#discussion_r1230632289

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[fix] Fix mem leak in Single API

- Destroy ml_tensors_info_h in ml_single_close
- Call gst_tensors_info_free

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix] Fix memi leak in pipeline API

- Free GstTensorsConfig using gst_tensors_config_free
- Initialize ml_tensors_info_s before set a new one

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

fix svace issue.

error param should be paased to 'json_parser_load_from_data' since error_report acess to error message.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Tizen] Update coverage auto measurement script

 - Exclude 'ml-api-common-tizen-feature-check.c' and
'ml-api-inference-tizen-privilege-check.c' from the coverage report.
 - Change test directory before running the tests.

Error:
[DEBUG]:[ RUN      ] [mMLAgentTest.call_method
Error : GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.tizen.machinelearning.service was not provided by any .service files
[DEBUG]:../tests/daemon/unittest_ml_agent.cc:87: Failure

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

API/Client: Revise JSON cstring conversion code

This patch revises the mechanism that creates ml_option_h typed data
from a JSON cstring.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ml-service] Add 'app_common_internal.h' to support Tizen v7.0

In case of Tizen 7.0, app_get_res_control_global_resource_path() is
defined in app_common_internal.h. So this patch includes
app_common_internal.h to support both of Tizen 7.0 and latest Tizen.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] feature for tf-lite

Enable testcase if tensorflow-lite ver2.x is available.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] common log-util

Code clean, use common log-util in ml-agent code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

API/Client: Use nested scope for JSON handling

This is a trivial patch for code cleaning. Toward better readability,
nested scope and g_auto* are used for JSON handling.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon/DBus: Replace NULL with "" for the DBus out parameters

When the out parameter type is set to "s" (which means a string type
value), it should not be a NULL value. This patch fixes such a case
in the DBus callback implementation for the pipeline.

Signed-off-by: Wook Song <wook16.song@samsung.com>

API/Client: Replace g_new0 with g_try_new0

g_new0 would not work as the author intended. This patch replaces g_new0
macros with g_try_new0 macros so that memory allocation failure is
checked at runtime.

Signed-off-by: Wook Song <wook16.song@samsung.com>

API/Client: Revise null-checks for output parameters

This patch revises null-checks for the output parameters, which
require memory allocation at the callee side, to return an error when
the argument is NULL and to warn the leak possibility when the
dereference is not NULL.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Daemon: Change the directory including header file to 'include'

To keep consistency with the C-Level API's header file directory, this
patch changes the directory including ML Agent Service's header files to
'include' from 'includes'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Service] deleting activated model

Add util functions in service-db,
1. prevent deleting activated model,
2. add util function to check model registration.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] Fix the wrong requires section of pkgconfig file

This patch fixes the wrong requires section of ML Service package config file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Tests: Revise the unittests package

This patch revised the meson build script and Tizen's rpm spec file to
include files which are required by the test daemon,
machine-learning-agent-test.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Release] Change the name tizen 7.5 into tizen 8.0

- Tizen X.5 is not going to be used. Change tizen 7.5 to tizen 8.0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tizen] Fix script for converage auto measurement

Fix script for coverage auto measuremnt
 - Set MLAPI PATH

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Service] functions for transaction

Code clean, add internal util function for DB transaction.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] logutil in service-db

Code clean, use common logutil in service-db.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Service] fix indent

Fix build error, clang-format of service-db.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/Log] printing internal value

The ID from pipeline hashtable in daemon is internal value.
This PR hides this internal ID value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/CodeClean] remove unnecessary code

Code clean,
1. fix indent and remove unnecessary lines.
2. replace function to compare pkg type (case-insensitive).

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[clang-format] line-comment length

clang-format, ignore line-comment length.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] handle invalid version

Raise exception when given version number is 0.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Formatting/CC: Apply .clang-format to the C++ source files

This patch applies .clang-format to all of the .cc files, which are
source files written in C++.

find . -name "*.cc" -exec clang-format-15 --style=file:.clang-format {} \;

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-Api] Tizen API guide

Update API description, fix design guide.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

API/C: Add the missing header to the pipeline-internal header file

This patch adds a missing internal header, 'nnstreamer.h', which defines
data structures and types required by the
'ml-api-inference-pipeline-internal.h' file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Tests: Add test cases for gdbus-util

This patch adds unit test cases for the helper functions in the
gdbus-util.c file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[test] Add a negative testcase for ml_service_launch_pipeline

- Add an erroneous pipeline launch case with invalid tensor_filter

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Service] invalid table schema

Fix invalid table schema and cleanup service-db test.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/CodeClean] remove duplicated code

Code clean, remove duplicated code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] Change variable name

- Change variable name not to hide the parameter of cb

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] Fix memleak of pkg_info

- Free pkg_info handle when the callback is returned

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Set `is-updatable` prop of single test

Set `is-updatable` prop of single test
 *line coverage: 80.1%

Signed-off-by: gichan <gichan2.jang@samsung.com>

[build] Add missing errno.h in ml-agent-dbus-interface.c

- Add missing header <errno.h> to the source file.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Meson/LCOV: Apply a workaround to increase lcov of 'service-db.cc'

This patch applies a simple workaround to increase the line coverage of
the 'service-db.cc' file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

MLAgent: Introduce libml-agentd

This patch defines APIs of the ML Agent Daemon whose backend is GDBus
and exports them to the outer space of the daemon so that the tightly
coupled dependency between the libcapi-ml-service and daemon is
eliminated.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test] remove unnecessary test

Code clean, remove empty testcase.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/Meson] common dependency

Use predefined dependencies in meson script.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson] dependency to tizen pkgs

Code clean, define dependencies to tizen packages.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] error ml-svc on ubuntu

Fix error when building ml-svc on ubuntu.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Tizen] Exclude test files for SAM

Exclude test files for SAM

Signed-off-by: gichan <gichan2.jang@samsung.com>

[C-API] revert fill dimension 1

This patch reverts fill dimension to default value 1.
In C# API, interop function ml_tensors_info_get_tensor_dimension
is used with length 4 dimension array instead of 16.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

Daemon/PkgMrg: Eliminate duplicate code blocks

This is a trivial patch for the elimination of the duplicate code
blocks.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Tests/PkgMgr: Add functions for emulation of Tizen's Pkg Manager APIs

This patch adds helper functions for the emulation of Tizen's Package
Manager APIs and utilities for unit test cases of ML Agent Service APIs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean] Fix memleak in pkgmgr

- Use g_autofree gchar to prevent memleak;

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Add empty build dep for tizen appfw for local build/test

- Add an empty build dep for tizen appfw, used by servce API

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[pkgmgr] Parse rpk's "model_description.json" to fill app_info and register

- When rpk is installed, parse the provided model_description.json file
  and register models described in the json.

TODO: Handle when the rpk package is removed or updated.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Check and parse app_info of tizen application (the caller)

In a Tizen application context,
`ml_service_model_register` fill app_info column. RPK cannot call this
API, so the value of key `is_rpk` is always false.

`ml_service_model_get*` APIs should parse the app_info and update the
path in case of models from 'RPK'.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Tests/Dbus: Move DBus-related files to the tests/dbus directory

This patch relocates the dbus interface for the unit tests to the tests
directory. According to the changes, the meson build files are alse
updated as well.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[service] Add "app_info" column to the model DB

- Add a new column "app_info" to the service DB's tblModel table.
- This app_info is a json string consists of tizen application
  information which owns model.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Tests/Meson: Revise meson build scripts in tests

This patch revises the meson build scripts related to the test
sub-directory.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-API] Fix set tensor dimension order

This patch fixes the order of ml_tensors_info_set_tensor_dimension.
If tensors_info is not extended, user may regard dimension array's length to 4.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[agent] Change tizen log functions of ml-agent

- Let ml-agent logs be more verbose in Tizen.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] Revert fill dim (default 1) commit

Because of native TC failure, this patch reverts the fill dim (default
1) commit.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-Api] fill dim (default 1)

When calling get-dimension(), fill remained dim - default dim is 1.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] add tests to increase ML_TENSOR_RANK_LIMIT

This patch adds some TCs for increased ML_TENSOR_RANK_LIMIT.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[C-API] Increase ML_TENSOR_RANK_LIMIT

This patch increases ML_TENSOR_RANK_LIMIT from 4 to 16.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[CodeClean] fix indent

Trivial, fix indent and init null to global val.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Single] Add input and output ranks

This patch adds input and output ranks to ml_single.
Input and output ranks are used when user explicitly sets rank property.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[Service] init handle id

Init-zero to connect the signals of model-dbus.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] common log util

Use common log util in model-dbus impl.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Meson/LCOV: Fix wrong code coverage ratio for ml-agent sources

The changes in 2b1df86 make two sets of object files for the
'machine-learning-agent' and 'machine-learning-agent-test' executables,
which leads to the wrong code coverage ratio for the ml-agent daemon
source files. This patch fixes it.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean] Remove unnecessary code in service api test

- Remove some unused code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent] Remove unused exceptions

- Let std::exception catch those runtime errors.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] Remove pipeline module related code from gdbus-util

- Move pipeline related code in gdbus-util to proper src.
- Adjust function names to the model-impl.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add some negative test for ml-agent

- Add some negative test for ml-agent.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Meson: Add a missing build dependency, 'nnstreamer-internal'

This patch fixes build errors because of a missing header file,
'nnstreamer_internal.h', which should be included in the build
dependencies by meson.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[test] Add unittest for service DB

- Add negative testcases for service DB.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent/DB] Prevent sql injection by using `sqlite3_bind_text`

- Use `sqlite3_bind_text` instead of formatted string to prevent sql
  injection attack.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build/Test] daemon for unittest

Cleanup build script, move test-daemon into 'tests' dir and fix file names.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] do not free handle in error case

If called service-destroy function, do not free allocated handle if an error from dbus or database is raised.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Android] temporal block flatbuffer

Fix error, temporal block flatbuffer when building android library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[test] Add negative tests for service APIs

- Add negative TC with DBUS unconnected.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>