[Service] replace ml-service DB

Replace ml-service database to sqlite3.

TODO:
- handle database version.
- implement methods for model info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Single] Fix coverity issue

This patch adds the error number for the missing argument of the format
specifier.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

c-api: Update API error messages

This fixes https://github.com/nnstreamer/nnstreamer/issues/4015

that didn't give appropriate error messages.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Service/CodeClean] change class name

Code clean, we will change the database later - level-db to sqlite.
Change class name and remove interface to ML-Service DB.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service/CodeClean] handle error case

Code clean, handle error case in service-db.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/PPM] deprecated API from 7.5

From Tizen 7.5, privacy-privilege-mgr API will be deprecated.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Service] dependency to sqlite

Add dependency to sqlite and cleanup, mark todo to remove leveldb for future work.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api/Single] invalid data handle in invoke thread

Prevent error case - null data ptr in invoke thread.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Single] prevent use-after-free case

Clone input data in single-shot, to prevent use-after-free case when invoking a model with timed out option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.net>

[C-Api] new function to copy data handle

Add new util function to copy tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.net>

[Service] handle dbus error case

Check returned val and handle error case when failed to invoke dbus methods.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] fix typo

Fix typo in sample code for custom easy filter.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

riscv64: Add RISC-V support

Add riscv64 architecture to the supported arch list.

Signed-off-by: Marek Pikuła <m.pikula@partner.samsung.com>

[Single] set tensors-info in output handle

The output tensor does not contain the tensors-info when invoking the model.
Update in/out tensors-info in single-shot handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] feature state in tizen test

Set feature state after all testcases are done.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[gcov] Exclude test gcno files

Exclude test related gcno files from gcov package.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Build] error on old ubuntu

Fix typo and build error on olb ubuntu.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Service] fix signal name

Set exact signal name for ml-service daemon.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] fix double free case

Fix double free case in ml-service testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson] dependency to build ml-service

Code clean to build ml-service,
- fix dependency to gio library.
- remove unnecessary declaration in meson script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[coverage] Remove unnecessary flags

We use meson's option(b_coverage) to measure coverage, so the flags are unnecessary.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[lcov] Change directory before generate html result.

After gcno files path was changed from the absolute path to the relative path, the codes of coverage were not properly displayed. Change the build directory before generating the html result.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[build/android] Add missing arg in build.gradle

- Add missing arg NNSTREAMER_EDGE_ROOT in build.gradle

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Meson] cleanup dependencies to common library

Code clean, declare dependency to common library and cleanup meson script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[meson] Construct paths automatically not manually.

Costruct paths automatically ussing `files` not manually.
This patch fixes wrong object file names.
Foe example:
before:
_home_abuild_rpmbuild_BUILD_capi-machine-learning-inference-1.8.3_c_src_ml-api-inference-internal.c.o
after: src_ml-api-inference-internal.c.o

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Tizen] Generate packages for automation test tools

 - Generate gcov and unittest package with "gcov 1" option for tizen test
automation tools.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[android] Add a testcase for tensor_query

- Add a simple Pipeline API TC for tensor_query.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[android/build] Build tensor_query with nnstreamer-edge sources

- Define source files to build tensor_query elements.
- User should set envvar "NNSTREAMER_EDGE_ROOT" (path to nnstreamer-edge source dir)
  to build tensor_query.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] mem leak case

Fix mem leak case when failed to create data handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Initialize tensors info

 - Initialize tensors info to fix build warning

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[android] Fix snpe test of multiple moutput model

- Fix the snpe filter test. The usage of multiple output model was changed.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api/Service] clearly check returned errcode

Code clean, clearly check returned error code of ML API.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] feature for float16 type

Code clean, update feature name (same with nnstreamer repo) and size of float16 type.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] update test

1. Fix invalid test name, to run unittest of data utils.
2. Code clean, add more negative testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Version] update version to 1.8.3

Release 1.8.2 for Tizen 7.0 M2. Start implementation for next release (v1.8.3).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[agent] Fix occasional hanging issue when destroy certain pipelines

- When pipeline is destroyed, agent tried to set its state as GST_STATE_NULL.
- However, pipelines which contain tensor_query_* elements make hanging
  when change te state. To resolve this, as a workaround, this commit just unref it.
- After fix this issue in tensor_query / nnstreamer-edge, revive this code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent] Remove lock in freeing pipeline instances

- Remove lock/unlock when freeing pipeline instances

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add more negative testcases for ml-service APIs

- Add more negative testcases for ml-service APIs

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Version] prepare release ver 1.8.2

Update version info for tizen release (ver 1.8.2).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test] Add unittest for ml-service

- Add negative TCs for launch and get_state APIs
- Add testcases with explicitly corrupted parameters.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Add code for inavlid parameters

- Add code for handling invalid parameters in ml_service_destroy and
  ml_service_get_pipeline_state.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent] Fix return value of dbus method invoc

- Fix return values of method to TRUE cause all the call is success
- This fix recent ASAN issue

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[coverity] Check return value in query_client cb

- Check return values in sink callback

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[query] Fix mem leaks in query client

- Fix mem leaks in query client and its unittests

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[spec] Disable ml-service for tv profile

- Disable ml-service for tv profile

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[debian] Exclude ml-service from debain packaging

- Exclude ml-service from debian cause it is not available.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Build/package ml-service when the option is given

- Build/Package ml-service related files only whne the option is given
- Change the meson option name `enable-machine-learning-agent` to
  `enable-ml-service`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Svace] fix res leak

Fix svace issue, mem leak case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test] Add a testcase to test ml_service_query_create

- Test if 'caps' is set or not.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[query] Code clean and fix resource memleak

- Return error when the caps is not set by ml_option
- Free allocated variables and remove unused 'caps' member.
- Destroy pipe handle in error case.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Add unittest for query client

- Add simple unittests for using query client APIs.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Implement query client APIs

- Implement two query client APIs: ml_service_query_create and
  ml_service_query_request
- ml_service_query_create creates a query client handle with given
  ml-option instance. The handle maintains a gstreamer pipeline with
  description:
"appsrc ! other/tensors,... (caps string given with ml-option) ! \
 tensor_query_client ... (props given with ml-option) ! tensor_sink"
- ml_service_query_request takes an input tensor and feed it to the
  pipeline. An output from tensor_sink is copied to given output handle.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Add ml-api-service-common to implement common feature

- Implement common feature for server and query client
- Let ml_service_destroy can destroy multiple types of service handle

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-agent] Hash key for DB

- To prevent storing plain keys in DB, hash it.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-agent] Add prefix for key in daemon's DB

- Add prefix for key when access DB
- This prefix could be set in build time via meson option.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-agent] Add missing header

- Add missing header for errno to enable build daemon in ubuntu.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[conf] Update gbs conf to new repos

- Update repo urls to the new one.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Add API header for query_client service

- Add signatures of two APIs for query_client service

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build] dependency to dlog

Add dlog dependency when building daemon on Tizen release.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Build] flag to run unittest

Clearly check unittest flag when building tizen rpms.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[service] Add a guide for the "key" when using ml_service_set_pipeline

- Add a sentence to warn users to keep their name (key) safe.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[svace] Initialize a GstState variable

- Initialize an uninitialized value.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[svace] Fix leak of GList in `ml_pipeline_switch_get_pad_list`

- Free allocated `dllist` when allocation of other list is falied.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Count each sink for multi model pipeline nnfw unittest

- Count each sink for multi model pipeline nnfw unittest
  to prevent occasional CI test failure

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Change API name

- Change `ml_service_getstate_pipeline` to `ml_service_get_pipeline_state`
- Change `ml_service_destroy_pipeline` to `ml_service_destroy`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Add document for newly added service APIs

- Add document for newly added service APIs

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Fix return values and free proxy

- Fix return values and free proxy

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Remove an useless API (ml_service_getdesc_pipeline)

- Remove API `ml_service_getdesc_pipeline`.
- User can know the pipeline description with existing API `ml_service_get_pipeline`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test/service] Set available port number for service API unittest

- Set available port number for service API unittest, rather than
  default value

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Add missing doxygen tag

- Add missing doxygen tag of an API

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Fix session type of ml-service API

- Set System type for ml-service API.
- If fails to get system bus, try with session type (for unittest)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ML Agent] Enable PIE option for Tizen security check

This patch enables the PIE (Position Independent Executable) option to
comply with Tizen security. If this option is not enabled, the daemon
file will be lost its executable permission when making platform image.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ml-service] Add test for ml-service-agent-client

- Add gtest and GTestDBus based unittest for ml-service-agent-client.
- It use own session mode d-bus to test the features.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Implement ml_service_[set|get|delete]_pipeline use dbus call

- Implement those APIs using dbus call

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Add service APIs using pipelind d-bus interface

- Implement some service APIs using pipeline d-bus interface

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Define API signatures for pipeline service.

- Define ml_service APIs for pipeline.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Remove ml-api-service-db.cc and related test

- Remove the source, header and tests.
- The APIs are moving to ml-api-service-agent.cc as it should use dbus
  call

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent] Update policy conf file

- Change the owner to "service_fw".
- Set default deny for default context.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-agent] Add set/get/delete pipeline dbus call

- Add `set_pipeline`, `get_pipeline`, and `delete_pipieline` dbus call.
- These correspond with `ml_service_[set|get|delete]_pipeline` APIs.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Agent] Fix pipeline interface to launch pipeline in the DB

- Change the method name `register_pipeline` -> `launch_pipeline`.
  This method launch pipeline with given service name, if the pipeline
  description is stored in the DB beforehand.
- Change the module source file into cpp file. It's to use the db
  impelemntaion.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ML Agent] Update systemd service file

To comply with the Tizen security rule, this patch updates the systemd
service file.
- Enable DBus activation
- Set User and Group ID as service_fw

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Debian] Enable test on ubuntu build

 - Enable test on ubuntu build.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[ML Agent] Implementation of DBus Model interface

This patch newly adds the DBus Model interface, which handles the neural
network model files. The name of a model file and its file path is
stored to the internal key-value database. To do this, this patch also
adds the IMLServiceDB interface for database operation and
MLServiceLevelDB class for LevelDB support.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] Add Testcase for DBus Model interface

This patch newly adds the unit testcase of DBus Model interface. It
contains both positive and negative test cases so covers various cases.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Refactoring] do refactoring the NNFW unit test to improve maintainability

This patch applies the Google Test Fixture to the unit test of NNFW
Inference MLAPI test. It removes the duplicate codes such as finalizing
the handle of TensorsInfo, TensorsData, Single, and Pipeline in each
test case. As a result, it helps developers focus on the test case
scenario without considering trivial settings such as model loading,
or memory allocation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[spec] FIx lcov option to include missed files

- Current lcov command misses ml-agent source files.
- To include those files, remove --no-external option and exclude some
  external / genterated files in the coverage result.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Agent] Add pipeline feature to the daemon

- Add and implement the pipeline related feature.
- It supports following dbus method call:
  - register_pipeline
  - start_pipeline
  - stop_pipeline
  - destroy_pipeline
  - get_state
  - get_description

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/common] Add fp16 type.

Declare API formats for API change review process.

Note:
Fp16 is generally supported by arm/arm64 compilers.
However, x64/x86 compilers usually don't support it
(GCC>=12 is required along with some compiler flags).

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[daemon] Implementation of test ML Agent

This patch makes a machine-learning-agent-test process for test
purposes. It defines the Test DBus interface and adds the handler for
this interface. Since ML Agent provides the service file for DBus
activation, unit tests can call the Test method via Proxy and get its
result. This process and its service file are not shipped to the test
package.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon/Test] Add unit test for ML Agent itself

To test the daemon process itself, this patch adds unit tests for
ML Agent in the GBS environment. This test case does not use the
service APIs but directly calls the Proxy methods.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon] Add DBus service file for unit test

To run the unit tests in the GBS environment, this patch newly adds
the DBus service file that uses the Session Bus type.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon] Add command-line option for DBus bus type

To run the unit tests in the GBS environment, the session type of the
DBus is required. This patch adds the command-line option to support
the session bus.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ML Agent] Add daemon process code for ML Service

This patch newly adds the daemon process for ML Service. It provides a
basic template code so developers can add DBus interface and its service
code.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[android] Set tensorflow-lite v2.8.1 as default

- Add tflite v2.8.1 support and set it as default

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Fix API header description

- Fix API descriptions to meet the design guide.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test/ml_option] Add unittests for ml_option

- Add some testcases using newly added ml_option APIs

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/Single] Add new API "ml_single_open_with_option"

- This API handle ml_option provided by user and make single instance

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/common] Add new API for "ml_option"

- Add three new APIs for ml_option:
  ml_option_create
  ml_option_destory
  ml_option_set
- Define related types and structures
- The ml_option use GHashTable {const char* key : void* value} to store
  various values used by ml_*

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] add NNFW type (TVM)

Prepare ACR, add new NNFW type (TVM) and mark Tizen version.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[trival] Fix header document

- Fix a typo in header description.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>