[ML Agent] Enable PIE option for Tizen security check

This patch enables the PIE (Position Independent Executable) option to
comply with Tizen security. If this option is not enabled, the daemon
file will be lost its executable permission when making platform image.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ml-service] Add test for ml-service-agent-client

- Add gtest and GTestDBus based unittest for ml-service-agent-client.
- It use own session mode d-bus to test the features.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Implement ml_service_[set|get|delete]_pipeline use dbus call

- Implement those APIs using dbus call

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Add service APIs using pipelind d-bus interface

- Implement some service APIs using pipeline d-bus interface

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-service] Define API signatures for pipeline service.

- Define ml_service APIs for pipeline.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[service] Remove ml-api-service-db.cc and related test

- Remove the source, header and tests.
- The APIs are moving to ml-api-service-agent.cc as it should use dbus
  call

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[agent] Update policy conf file

- Change the owner to "service_fw".
- Set default deny for default context.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ml-agent] Add set/get/delete pipeline dbus call

- Add `set_pipeline`, `get_pipeline`, and `delete_pipieline` dbus call.
- These correspond with `ml_service_[set|get|delete]_pipeline` APIs.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Agent] Fix pipeline interface to launch pipeline in the DB

- Change the method name `register_pipeline` -> `launch_pipeline`.
  This method launch pipeline with given service name, if the pipeline
  description is stored in the DB beforehand.
- Change the module source file into cpp file. It's to use the db
  impelemntaion.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[ML Agent] Update systemd service file

To comply with the Tizen security rule, this patch updates the systemd
service file.
- Enable DBus activation
- Set User and Group ID as service_fw

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Debian] Enable test on ubuntu build

 - Enable test on ubuntu build.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[ML Agent] Implementation of DBus Model interface

This patch newly adds the DBus Model interface, which handles the neural
network model files. The name of a model file and its file path is
stored to the internal key-value database. To do this, this patch also
adds the IMLServiceDB interface for database operation and
MLServiceLevelDB class for LevelDB support.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] Add Testcase for DBus Model interface

This patch newly adds the unit testcase of DBus Model interface. It
contains both positive and negative test cases so covers various cases.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Refactoring] do refactoring the NNFW unit test to improve maintainability

This patch applies the Google Test Fixture to the unit test of NNFW
Inference MLAPI test. It removes the duplicate codes such as finalizing
the handle of TensorsInfo, TensorsData, Single, and Pipeline in each
test case. As a result, it helps developers focus on the test case
scenario without considering trivial settings such as model loading,
or memory allocation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[spec] FIx lcov option to include missed files

- Current lcov command misses ml-agent source files.
- To include those files, remove --no-external option and exclude some
  external / genterated files in the coverage result.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Agent] Add pipeline feature to the daemon

- Add and implement the pipeline related feature.
- It supports following dbus method call:
  - register_pipeline
  - start_pipeline
  - stop_pipeline
  - destroy_pipeline
  - get_state
  - get_description

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/common] Add fp16 type.

Declare API formats for API change review process.

Note:
Fp16 is generally supported by arm/arm64 compilers.
However, x64/x86 compilers usually don't support it
(GCC>=12 is required along with some compiler flags).

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[daemon] Implementation of test ML Agent

This patch makes a machine-learning-agent-test process for test
purposes. It defines the Test DBus interface and adds the handler for
this interface. Since ML Agent provides the service file for DBus
activation, unit tests can call the Test method via Proxy and get its
result. This process and its service file are not shipped to the test
package.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon/Test] Add unit test for ML Agent itself

To test the daemon process itself, this patch adds unit tests for
ML Agent in the GBS environment. This test case does not use the
service APIs but directly calls the Proxy methods.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon] Add DBus service file for unit test

To run the unit tests in the GBS environment, this patch newly adds
the DBus service file that uses the Session Bus type.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[daemon] Add command-line option for DBus bus type

To run the unit tests in the GBS environment, the session type of the
DBus is required. This patch adds the command-line option to support
the session bus.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ML Agent] Add daemon process code for ML Service

This patch newly adds the daemon process for ML Service. It provides a
basic template code so developers can add DBus interface and its service
code.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[android] Set tensorflow-lite v2.8.1 as default

- Add tflite v2.8.1 support and set it as default

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Fix API header description

- Fix API descriptions to meet the design guide.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test/ml_option] Add unittests for ml_option

- Add some testcases using newly added ml_option APIs

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/Single] Add new API "ml_single_open_with_option"

- This API handle ml_option provided by user and make single instance

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/common] Add new API for "ml_option"

- Add three new APIs for ml_option:
  ml_option_create
  ml_option_destory
  ml_option_set
- Define related types and structures
- The ml_option use GHashTable {const char* key : void* value} to store
  various values used by ml_*

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] add NNFW type (TVM)

Prepare ACR, add new NNFW type (TVM) and mark Tizen version.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[trival] Fix header document

- Fix a typo in header description.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] update API description

Prepare ACR, review native API and update description.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] update script for mxnet

1. add version flag and update prebuilt library for mxnet.
2. disable test when building lite version.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[JAVA-Api] Update android build scripts.

Update to use nnstreamer-github-resource github link

Signed-off-by: makesource <makesource@gmail.com>

[C-Api] Fix indentation

Fix indent at init_filter_mxnet()

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Remove redundant newlines

Remove redundant newlines in build-nnstreamer-android.sh and Android.mk

Signed-off-by: makesource <makesource@gmail.com>

[C-Api] Add missing enums in ml-api-common

Add missing enums in ml-api-common

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Add missing MXNet enums in JAVA, c++ APIs

Add MXNet enums in JAVA, c++ API.

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Parameterized nnstreamer mxnet subplugin

Add enable_mxnet, ENABLE_MXNET flags.

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Fix MXNet version

Use MXNet 1.9.1 tag version

Signed-off-by: makesource <makesource@gmail.com>

 [JAVA-Api] Modify build script for MXNet build

Modify build script flag that does not related with mxnet

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Modify build script for MXNet build

Modify build script to download MXNet so files

Signed-off-by: makesource <makesource@gmail.com>

[JAVA-Api] Add and update MXNet related mk files

Add mk files for prebuilt MXNet shared library files

Signed-off-by: makesource <makesource@gmail.com>

[trivial] Fix some typos

- Fix some typos.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API] Fix the typo

This patch fixes the typo in ml-api-common.h file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[test] Add test for decoding pngfile using appsrc

- Add a test for decoding pngfile using appsrc (C API and android JAVA)
- It check the equality of decoded orange.png using simple pipline
  with raw file (orange.raw)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[pipeline] Let pipeline src use current caps when it's given

- If current caps is given, use it rather than allowed caps.
- Use caps "image/png" when the pipeline is "appsrc caps=image/png ! pngdec ! ... "

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Single] Remove gst dependency from single-shot

Remove gst dependency from singlep-shot

Signed-off-by: gichan <gichan2.jang@samsung.com>

[C/common] Remove unnecessary NULL assignment

This patch removes the unnecessary NULL asignment in
_ml_tensors_info_free() since _ml_tensors_info_initialize() function
internally asigns the NULL to the name of each ml_tensor_info_s. It
removes redundant code and increase the performance.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C/Inference] Apply extract method technique to remove redundant code

Three internal functions for appsrc callback have the redundant code to
fetch the callback function. This patch applies the extract method
technique to remove it and increase maintainability.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C/Inference] Cleanup the nested-if statement

ml_pipeline_src_parse_tensors_info() has the deep nested-if statement
and it makes it hard to understand and maintain. This patch does
refactoring the code structure and increases readability and
maintainability.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Revert "Move ml_strerror() to internal header"

Since ml_strerror() & ml_error() functions are used in webapi-plugins
module, they should be in ml-api-common.h header.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Move ml_strerror() to internal header

ml_strerror(), ml_error() functions are not ready to release. So they
are moved to internal header.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[trivial] Fix some typos

- Fix some typos in several files

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API/Service] Refactoring for ML Service API

This patch adds disconnectDB() interface in IMLServiceDB and closes
the DB handle explicitly after use. Since some embedded database
such as LevelDB does not support multi-process so only one process
can access the DB at one time and it might cause the IO exceptions.
This patch reduces the deadlock situation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Test] Add Mock testcase for Service API

ML Service API uses an external database library and it could raise
unexpected errors such as IO Exception. To handle their exceptions,
lots of error handling code was added but it is hard to test because
exceptions are not raised in normal cases. In this patch, we use GMock
for dependency injection of external libraries. We can define the
expected exception when calling an external API so can verify its operation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Remove unnecessary doxygen tag

This patch removes the unnecessary doxygen tag in doc.h file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-Api/pipeline] clear element callback

1. Clear element callback before changing the pipeline state - receiving the EOS event.
2. Fix element lock when an error occurs in internal process.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] Update doc file for ML Service API

This patch adds the doxygen section and updates doc.h file for ML Service API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ML-API] version info

Set project version to 1.8.1 (will be updated later - 1.8.2 for Tizen M2)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] handle each feature state

Each Tizen ML feature state (inference, training, service) should be managed separately.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api/Service] fix svace issue

Fix svace issue - remove memory leak.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Feature] Add ml-service feature check function

Add machine learning service feature check function.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Doc] Change CI server domain name

Change CI server domain name from nnstreamer.mooo.com to ci.nnstreamer.ai

Signed-off-by: gichan <gichan2.jang@samsung.com>

[single] Allow tvn model when using VD_AIFW

This patch allows tvn model when using VD_AIFW framework.

Signed-off-by: yelini-jeong <yelini.jeong@samsung.com>

[C-Api/Service] update API description

Under the API review, update API description and example code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API/Service] Workaround for dbspace failure

Because of SMACK control, the application process cannot access the
'/opt/usr/dbspace'. To meet the Tizen M1 release schedule, this patch
uses '/tmp' as database space. It is just a workaround and will be fixed
in the right way.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Package] Add SMACK label and cleanup the package

After modifying C-API packages, the SMACK label was omitted for
each package. And library packages contain unnecessary so file.
This patch adds omitted SMACK label and cleans up the contents of
the package.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

CODEOWNERS: update reviewers.

New members introduced: @songgot (will be writing APIs soon)

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

C/common: ml_tensors_info_set_tensor_dimension error message.

Tell the API users why the error happens and how they can mend it.

Fixes https://github.com/nnstreamer/nnstreamer/issues/3562

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C-API/Test] Apply test fixture to remove duplicate code

To remove duplicate code in each test case, this patch applies the
test fixture framework. g_autofree macro is used for allocated space
to be freed automatically no matter test case is passed or not.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[CodeClean] cleanup headers

cleanup headers and warning in meson build script before starting ACR process.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Package] Change package dependency.

Previously, the single and pipeline API were separated.
Change the pipeline package contain the single package.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[C-API/Service] Apply Singleton pattern

This patch applies the singleton pattern to MLServiceLevelDB class
so that a single instance exists in runtime.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Service] Refactoring the service API for maintainability and readability

To support various database systems, this patch defines the interface
class IMLServiceDB and implements MLServiceLevelDB using LevelDB. If the
backend DB is changed, we just add a new class for the new DB without
changing the existing code. That increases the maintainability.
Moreover, this patch updates the signature of user-level APIs to
increase readability.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/TEST] Add various test cases for ML Service API

This patch newly adds the test cases for ML Service APIs. They include
the positive and negative cases for setting, getting, and deleting the
pipeline description.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Add Error code for DB and filesystem

This patch newly adds the ML_ERROR_IO_ERROR code for the failure
of DB and filesystem operation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Package] Bugfix for package dependency

To maintain backward compatibility, capi-machine-learning-inference
package should require pipeline, single and common libraries. However,
common is omitted and it can cause break issues when making platform
:1image. This patch fixes this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Serivce] Update the doxygen tag

This patch updates the doxygen tag and comments for ML Service API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Serivce] Set SYS_DB_DIR as build configuration

This patch sets the SYS_DB_DIR as build configuration. In the case
of Tizen, a predefined DB path (i.e. TZ_SYS_GLOBALUSER_DB) is used.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Service] Add testcase for ML Service API

This patch adds the basic testcase of the ML Service API for adding
and getting the pipeline description with the name.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Service] implement ML Service API

This patch newly adds the ML Service APIs for adding and getting the
pipeline description with the name. To store the pipeline description,
leveldb is used.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API/Service] Fix the compile-time error

Because of an omitted semicolon and header file, there is a compile-time error
when using ml-api-service.h header. This patch fixes this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[debian] Rename invalid .install file names

Rename invalid .install file names.
...-dev-api.install -> ..-api-dev.install

Signed-off-by: gichan <gichan2.jang@samsung.com>

[debian] Separate debian packaging

 - Separate single/pipeline debian package
 - Change library name (capi-nnstreamer-* -> ml-inference-*)

Signed-off-by: gichan <gichan2.jang@samsung.com>

[C/inference] Apply Substitute Algorithm instead of Switch-Case statement

This patch does refactoring the code by applying the Substitute
Algorithm technique. Instead of a Switch-Case statement, a hash table is
used and it increases both readability and performance.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C/inference] Refactoring the nested-if statement

A nested if statement makes it hard to understand and maintain the code.
This patch reorganizes the code structure and increases readability.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C/inference] Apply extract method for type converting

Instead of a complicated switch-case statement in the function, this
patch extracts a new function for type converting. Since the enumeration
of both types is the same order, typecasting is good enough for
converting.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[meson] change global link -> project link

As recommended from a review in #137, add_global_link_argument has
changed to add_project_link_argument

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Debian] update ml-inference-api-dev package

After #131, ml-inference-api-dev is relying on capi-ml-inference-single
and capi-ml-inference-pipeline pc.

It might have been better that ml-inference-api-dev relying on
ml-inference-single/pipeline-dev. As the package is not introduced,
this patch add pc files into the ml-inference-api-dev package.

See also: https://github.com/nnstreamer/nntrainer/issues/1853#issuecomment-1064220362

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Fix libcapi-nnstremer is empty due to linker optimization

From #131, libcapi-nnstreamer.so became empty because
libcapi-nnstreamer.so does not contain any symbol from
libcapi-nnstreamer-single, libcapi-nnstreamer-pipeline.so

This should be semantically resolvable by using 'link-whole' argument in
meson but it is not implemented for shared_library.

This patch address the issue by disabling `-bas-needed=false` in meson
and add -Wl,--as-needed to global linker argument.

https://github.com/mesonbuild/meson/issues/3046.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Log] log utils from nnstreamer

The log util was separated from nnstreamer repo.
Remove unnecessary header and update log util.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Package] Separate single-shot and pipeline API.

 - `machine-learning-inference` is separated to `machine-learning-inference-single` and `machine-learning-inference-pipeline`.
 - Separate internal header files.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[build] Build android api with gstreamer v1.20.0

- Assume that android builds are with gstreamer v1.20.0
- Remove the patch file which is no needed for the new version
- Modify the patch file for tracing

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tizen/TEST] Add gcov package

Add gcov package for tizen coverage auto measurement tool.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[C-Api/Test] condition to check allowed element

1. init gstreamer before starting the unittest.
2. check element restriction flag from config file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api/CodeClean] internal struct for pipeline

Code clean, cleanup definition for internal data struct.

TODO: We now have a plan to separate single and pipeline source.
Then it is necessary to hide internal data struct for pipeline functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api/Util] util function to get gst element

Add util function to get gst-element instance.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Check restricted elements.

Check whether the restricted elements are properly handled or not.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

C/Service: first prototypes of service API Phase 1

This is the start of designing https://github.com/nnstreamer/nnstreamer/issues/3473
Phase 1 and 2 APIs are declared.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

C/common: refactor data structure locations for service API

A few definitions in pipeline/single APIs are used by service API.
Move such definitions to the common header.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C/inference] Use allowed_elements instead of restricted-elements

The name 'restricted-elements' of nnstreamer configuration is not
matched as its real operation. Because of this reason, its name is
renamed to 'allowed_elements'. This patch updates the related code.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>