C-API/Common: error reporting API implementation.

API implementation:
ml_error(), ml_strerror()

Internal interface for API implementation:
_ml_error_report()

TODO: apply _ prefix for all internal interfaces.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

C-API/Common: error reporting function skeleton.

dlerror()-like function that can provide error descriptions and
strerror()-like function that provide general descriptions for error codes.

This is to review its format and behavior.
The contents and internal APIs for API implementation will
follow after this API is approved.

This addresses (starts addressing) https://github.com/nnstreamer/nnstreamer/issues/3528

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C/Inference] Refactoring C-API module relations.

ML C-API interfaces and implementations are being refactored for better relations.

ml-common will be no longer depending on nnstreamer.

Then, in the future, nntrainer will be no longer depending on nnstreamer except for its nnstreamer-nntrainer subplugin.

1. Renamed headers and sources (except for Tizen Studio's files, which we need to tend later)
2. Refactored inter-file dependency and relations.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Headers] Fix missing include in ml-api-common

As tensor data structure now being moved to ml-api-common.
`size_t` is now used in `int ml_tensors_info_get_tensor_size`.

Does including <stddef.h> here.

Please  refer to below error in http://nnstreamer.mooo.com/nntrainer/ci/repo-workers/pr-checker/1648-202110201315200.81315588951111-c03945380718edd44c6a19b56056dcf80a64636d/report/build_log_1648_android_error.txt

```
 error: unknown type name 'size_t'
int ml_tensors_info_get_tensor_size (ml_tensors_info_h info, int index, size_t *data_size);
```

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Common] refactor headers to clean up dependency

Data handling APIs are used by ML.training as well as ML.inference.
Move such APIs to common header.

TODO: Move implementation to another .c file so that
we can refactor subpackage dependencies, too.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Release of ML-API 1.8.0

 - Release of ML-API 1.8.0.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Single] Don't close single handle during invoke process

Don't close single handle during invoke process.
If single handle is released during invoke prcoess, an interpreter may
access invalid memory.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Coverage] Set coverage badge

This patch enables coverage badge. Behind the scene, daily coverage
check is enabled :)

**Self evaluation:**
1. Build test: [ ]Passed [ ]Failed [X]Skipped
2. Run test: [ ]Passed [ ]Failed [X]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[TEST] Add checking nnfw availability util

Add checking nnfw availability util.

Signed-off-by: gichan <gichan2.jang@samsung.com>

Unittest: data type consistency with nnstreamer/gstreamer

There are type re-definitions in C ML-API, which
should inherit values from nnstreamer and gstreamer.
Add unittests that ensures the consistency.

Fixes https://github.com/nnstreamer/nnstreamer/issues/2587

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

nnfw_ver to 1.17.0

nnfw(ONE) v1.17.0 is released. This will bump up nnfw version to 1.17.0

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[C-Api] function to check hw availability

Add new function to check hw availability with custom option string.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Build] remove release flag

Remove release flag and related source.
Uploading library to jcenter is not available anymore.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] Change src-callback name

Change src-callback function name.
 - Names of callback function types should have the '_cb' suffix.
 - A modile providing callbacks called on events should support exactly one of two registration schemes.
   > single callback registration: {module}_set_{details}_cb

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Android/Build] dependency to glib

clearly denote dependency to glib in android build.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] Use ML_NNFW_TYPE_TRIX_ENGINE instead of ML_NNFW_TYPE_TRIx_ENGINE

According to the Tizen naming convention, the names of the entities must
be composed of upper case letters. This patch fixes this issue.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test/C-Api] src-callback test

Add new testcases for src callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] Rename srnpu to trix-engine

The patch updates the name 'srnpu' to 'trix-engine'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] update flex-tensor caps

Update caps for flexible tensor, old mime type for flex-tensor is removed.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] implement src callback

Implement new API - appsrc callbacks.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] Test SNAP with tensorflow lite model

- SNAP v3.0 supports tensorflow lite model.
- Add pipeline and singleshot test using it.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] framework priority from conf

Load framework priority from nnstreamer conf file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] remove warning while checking framework

When checking fw with model files is failed, it returns null and this will print warning message even if this works properly.
Update macro to not print this message. (requested from VD)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add tensor clone test

 - Add tensor clone test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[debian] Add jni debian package

Add jni wrapper debian package.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[JNI] remove unnecessary feature in native

We should call subplugin registration only on Android.
Remove unnecessary feature in native code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api/Util] Add ML_NNFW_HW_NPU_SLSI case to converting function

To support VD product, this patch adds the ML_NNFW_HW_NPU_SLSI case
to ml_nnfw_to_accl_hw() function.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Build/Java] add script to build jar

Add new script to build java library.
To prevent build error, mark prefix in java files and change it while building the library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Java] prepare ubuntu build

Prepare Java API on ubuntu, add feature for android and remove android annotation.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] handle flexible tensor

In flexible tensor stream, sink and src handle cannot set exact tensor info from pad caps.
To handle flex-tensor, ignore tensor info while configuring the element handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Build] check target abi

Check target abi when build android library, and set dir name to get gstreamer prebuilt libs.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Java] build JNI wrapper

Build JNI wrapper using meson.
The source for JNI wrapper is same with Android native code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Api/TensorsData] hold tensors info in data handle

Clone tensors-info handle and hold it in tensors-data handle.
Also, pass info handle to parse data object in Android native build.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api/Util] remove duplicated source

Add private util function and remove duplicated source.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] min sdk version to 24

For android release, set minimum sdk version to 24.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Data] Unlock data and remove unreachable code

 - Unlock data when policy neither ML_PIPELINE_BUF_POLICY_AUTO_FREE nor
ML_PIPELINE_BUF_POLICY_DO_NOT_FREE.
 - Remove unreachable code

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Android] nnfw feature

Change nnfw feature definition in android build, same to c-api define.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[android/build] Fix android build script for wget

- Fix wget urls to support git lfs files

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[capi] Update on thread safety for ml_tensors_info

This patch fixes the case of Time of Check Time of Use bug in
ml_pipeline_custom_easy_filter_register().
The provided arguments `in` and `out` are first checked for validity
under their locks and then used for clone again under their locks.
However, between the two operations, both the variable are left lock
free, and the two variables can become invalid.
This patch adds the corresponding fix by adding support for
checking validity of ml_tensors_info_s lockfree which is done
under the lock acquired inside ml_tensors_info_clone().

Further, as a minor fix, redundant locking and unlocking
has been removed from ml_pipeline_custom_easy_filter_register().

See also #42 https://github.com/nnstreamer/api/pull/42#issuecomment-840265534
Resolves https://github.com/nnstreamer/nnstreamer/issues/2600

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-API] Fix the coverity issue

This patch fixes the coverity issue: "waiting while holding a lock".
Before entering the loop, mutex lock is release so that other thread can
use the CPU.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Thread safety for ml_tensors_data APIs

Fixes #nnstreamer/2600
Note that locally created-and-freed ml-tensors-data
are not required to be protected.

Another fix: do not destroy user data even if it is AUTO_FREE
if push_buffer is NOT called.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Flatbuf] Change version check of the flatc

Change version check of the flatc from error to warning.
Even if the flatbuffers compiler has different versions, compatibility can be maintained.
Tested with
 - System flatc version: 2.0.0
 - Android flatc version: 1.12.0

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Android] tf-lite custom options

update docs to set custom option for tensorflow-lite model.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[git] Add gitignore list

Add build directory to git ignore list.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[CAPI/ml-common] Add require to base-common

When a developer tries to add dependency to `capi-ml-common` they have
to care about adding dependency to `capi-base-common` as well because
`capi-ml-common` is actually depending upon `capi-base-common`

This patch resolves the issue by adding require to `capi-base-common`
in the pc file.

resolves #57

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

NNStreamer-devel-internal headers are external.

Headers supplied by nnstreamer-devel-internal are external headers.
Use < > instead of " ".

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API/Skeleton] App Src Callback support

Refer: https://github.com/nnstreamer/nnstreamer/issues/2581

This provides API signature and code skeleton for
callback support of app-src elements in ML-API pipelines.

CC: @junmin-kim
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] Fix android ml api build script with patches for gstreamer build script

- Let android build script use patch files to modify gstreamer build script
  from https://gstreamer.freedesktop.org/data/pkg/android/1.16.2/
- Fix tracing feature to add GstShark
  https://github.com/RidgeRun/gst-shark/

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[clang] add clang format

add clang format in api repository.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SRNPU/NNFW] Add NNFW Type for SRNPU

This patch adds NNFW Type for SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Spec] Add the Provides option in case of 64bit

If architecture is aarch64 or x86_64, the 64bit option should be added.
If not, the wrong so file is provided as below.

$ rpm -qp --provides capi-machine-learning-inference-1.7.2-0.aarch64.rpm
capi-machine-learning-inference = 1.7.2-0
capi-machine-learning-inference(aarch-64) = 1.7.2-0
libcapi-nnstreamer.so
libcapi-nnstreamer.so.1()(64bit)

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-Api] enum for AIFW

add new enum value (for AIFW and SLSI NPU)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Thread safety for ml_tensors_info APIs

Fixes #nnstreamer/2600

This supports thread safety for ml_tensors_info related APIs.
TODO: ml_tensors_data related APIs

https://github.com/nnstreamer/nnstreamer/issues/2600

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/TFLite] Add XNNPACK delegate support

- Add XNNPACK delegate in tensorflow-lite
- tensorflow-lite utilize XNNPACK as their default engine since v2.3.0

REF:
- https://github.com/google/XNNPACK
- https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/delegates/xnnpack

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/Build] use default std

Remove flag to set cpp std in android native build.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] update tf-lite and nnfw version

update default version, tensorflow-lite v2.3.0 and nnfw v1.15.0.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Test] remove unnecessary constructor

Code clean, remove unnecessary constructor in testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Spec] Add the provides section

Since rpmbuild explicitly exclude the name from the library rpm,
libcapi-nnstreamer.so is not provided as below.

$ rpm -qp --provides capi-machine-learning-inference-1.7.2-0.armv7l.rpm
capi-machine-learning-inference = 1.7.2-0
capi-machine-learning-inference(armv7l-32) = 1.7.2-0
libcapi-nnstreamer.so.1

This patch adds the provides section to capi-machine-learning-inference
package so that capi-machine-learning-inference provides
libcapi-nnstreamer.so.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android] Build GStreamer with tracing

- Add Android GStreamer build option for tracing in build script
- Add patch for file `gstreamer_android-1.0.c.in` to enable this feature

REF: https://gstreamer.freedesktop.org/documentation/additional/design/tracing.html?gi-language=c
Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test/Flatbuf] Add Pipeline API test for Flatbuf

- Add a test for Flatbuf which check eqaulity of input buffer with output of flatbuf decoder and converter
- input -> decoder -> other/flatbuf-tensor -> converter -> output)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API] Fix Pipekline Flush API

- Some gstreamer elements fail to send `gst_event_new_flush_start`
- Spilt `_flush_start` and `_flush_stop` to call `_flush_stop`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] testcase for pipeline flush

Add testcase for new API - pipeline flush.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] method to flush the pipeline

NNStreamer Android lib, add new method to flush the pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] new API to flush the pipeline

Add new API to flush the pipeline.
If new input should be run without old data in pipeline, this is necessary to clear all.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TCM] Rename TCM config file

To run the TCM on AHub infra, the default name of config file should be
'config.yaml'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android/Pipeline] clone data from src element

We cannot guarantee the data object from java is available while running the pipeline.
Set clone when pushing data to src element.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Spec] Move libcapi-nnstreamer.so to capi-machine-learning-inference package

To support the backward compatibility of Tizen 6.0,
libcapi-nnstreamer.so is moved to capi-machine-learning-inference
package.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Indent] Fix indent style

Fix indent style.
The "pointer" qualifier, '*', should be with the variable.

This is commit body message

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Tizen/Build] unnecessary build require

remove unnecessary feature definition and build requires.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Test] junit ver

Fix avas scan report, set junit ver 4.13.1.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Build/Test] coverage report

update script to generate coverage report.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TCM] Add TCM config files

Add TCM config filres for tizen and android.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] change property name

change property name sync mode, nnstreamer will change sync mode and option.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tizen/Privilege] Use newly exported MMFW headers

This requires
https://review.tizen.org/gerrit/#/c/platform/core/multimedia/libmm-camcorder/+/254182/ (OLD)
https://review.tizen.org/gerrit/#/c/platform/core/multimedia/libmm-camcorder/+/255956/ (NEW)
to be merged and deployed. Or maintainers may do group-SR.

Fixes https://github.com/nnstreamer/nnstreamer/issues/1734

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Flatbuffers] Change subplugins name

Change flatbuffers and flexbuffers subplugins name.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] Use tar archiving instead of tar.gz

This patch uses tar archiving instead of tar.gz instead of VD QBuild
system.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android] sub-plugins for flatbuf/flexbuf

Update script to build Android lib with flatbuf and flexbuf subplugins.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Fix unit test script

In main routine, return cannot be used.
Return values by calling exit instead.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Etc] add reviewers

add reviewers for API repository.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Log] divide a log message

Since the length of the pipeline string is too long, the error message cannot be checked.
For easier debugging, this log message should be divided.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Build] version info

Add version information for Android ML API.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] Add android build script for nnstreamer

- Add `java/android/build-nnstreamer-android-lib.sh`
- Trim Android.mk and Android-nnstreamer.mk
- Set ML_API_VERSION

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Singleshot] Support nntrainer inference

This patch enables singleshot inference from `ML_NNFW_TYPE_NNTR_INF`

I read code throughly to look where to change but it was only one line,

Please review if there are more things to be done.

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Android] upload nnstreamer code

Upload nnstreamer android files.

TODO: setup android build in ci and add build script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] add ref-count to custom filter/if handle

When developer constructs a pipeline with custom filter or if-condition, add ref count to custom handle.
Prevent custom handle unregistration if pipeline is running.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] tensor name in tf-lite tc

Ignore tensor name comparison in tf-lite testcase.
NNStreamer tf-lite plugin will set tensor name.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test] Set timeout for meson test

- Set timeout value of 100 secs for unittest_capi_inference_latency

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-Api] fix res leak in timeout mode

In single-shot timeout case, the flag to release output handle may reset when setting short timeout value.
To prevent this case, add output handle to del-list and change params to set input/output handle in invoke thread.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[spec] Add Requires section for Tizen platform image

Some necessary packages such as nnstreamer-tizen-sensor are omitted from
Tizen platform image. This patch adds the 'Requires' section to
capi-machine-learning-inference package to operate properly.

* Related Issue: https://code.sec.samsung.net/jira/browse/TSDF-247

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test/C-Api] add testcases

migrate c-api testcases from nnstreamer repo.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Spec] Remove 'Provides' field in spec file

'Provides' field in spec file causes unresolvable problems since our
customers use pkg-config files like 'BuildRequires: pkgconfig(capi-nnstreamer)'.
This patch removes 'Provides' field so that this package successfully
builds on the OBS server.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-Api] initial commit to add c-api

Add nnstreamer native api and build script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

C/inference & common: imported Tizen 6.0 C-APIs

Imported Tizen 6.0 C-APIs from nnstreamer.git.
They will be kept duplicated until Tizen 6.5 devel starts
and it becomes ready for API package refactoring.

Re-licensed as Apache 2.0

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

C/README: added platform info

Added which platforms are supported and how they are maintained.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Merge pull request #4 from myungjoo/setup/infra

CODEOWNERS: add initial list

CODEOWNERS: add initial list

@todo: invite SNAP members

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Initial structuring

c/: Starts with Tizen C API (and Linux C API)
cpp/: Starts with SNAP API (Samsung-Android mobile C++ API)
dotnet/: Starts with Tizen .NET API (mirror/clone policy TBD)
java/: Starts with ML API (Samsung-Research Android/Java API)

packaging/: Tizen / Fedora/SUSE packaging
debian/: Ubuntu / Debian packaging

API classes:
- inference.single
- inference.pipeline
- training

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Initial commit