Debian: add flatbuf/protobuf packaging

nnstreamer-flatbuf and
nnstreamer-protobuf will be available for Ubuntu/Debian.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Dist/Debian] Add a sub-package that provides the openvino filter

This patch adds a sub-package that provides the tensor filter for
OpenVino to Debian/Ubuntu.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Api/Single] default no timeout when invoking model

If user does not set the timeout, single-invoke function will wait for the output till the invoke is done.
This requires another ACR.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Fix comments in SingleShot.java

Fix comments grammatically correct by adding subject, "this".

Signed-off-by: Park Hyeoung-Min <phm0127@gmail.com>

[Tests/C-API] Add test case for abnormal accessing of callback function

This patch newly adds a test case for abnormal accessing of callback
function when calling both `ml_pipeline_element_get_handle()` and
`ml_pipeline_sink_register()` functions.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Bugfix for abnormal accessing of the callback function

If the handle of sink element is fetched by calling both
`ml_pipeline_element_get_handle()` and `ml_pipeline_sink_register()`
functions, segmantation fault occurs because of abnormal accessing for
callback function. This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[SPEC] Cleanup spec file

* Fix the wrong definition of flat buffer
* Add `nnfw_support` flag to control NNFW even though ARM architecture

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/NNFW] change nnfw api

1. Change nnfw api to set input info.
The function apply_tensorinfo will be deprecated soon.
2. Remove unnecessary definition about max rank of nnfw.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Api/Single] init status code before invoking

In invoke thread, init status (error-none) before calling the invoke callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SAM/CodeClean] remove global val

sam report, remove global val in openvino plugin.
update script to install common header file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Demux] Bugfix for set_property function

If `tensorpick` property of demux element is set twice by calling
g_object_set() function, the previous value should be removed and
new one should be written. However, the value is appended and it can
make a problem. This patch fixes this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[SPEC] Add supproting element for tizen

Adding an element : gdppay, gdpdepay
These elements payload and depayload GStreamer buffers and events using the GStreamer Data Protocol.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Fix/SVACE] memory leak and un-init local variables

SVACE reported issues in Tizen CAPI unit test cases:
- 443268 (uninitialized local variable)
- 443269 (uninitialized local variable)
- 443278 (memory leak): although this is always not allocated successully, I've added "free" that fails with its error code assertion.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/Sensor] remove deprecated api

API to read sensor data was deprecated since 5.5.
Replace this API (sensor data list).
Also set block size of output buffer when starting the src element.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] code clean (parse media info)

code clean, function to set/parse media info for each mime type.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] Add remarks section for ml_tensors_info_get_tensor_name()

This patch adds the remarks section for
ml_tensors_info_get_tensor_name() since the behavior of this function is
changed since 6.0.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/OpenVino] Fix compile error due to OoO designated initialization

This patch fixes compile errors related to restriction of designated
initialization in C++.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Sink] Fix compiler warnings with -Werror=sign-compare

This patch fixes compiler warnings with -Werror=sign-compare related to
the TestData and TestOption structures in unittest_sink.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tizen/Restriction] add sensor-src in restriction

change condition to check restricted element.
tizen sensor-src will be included in restrict list.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Doc] update doc about nn framework

Update javadoc
- link to ONE and NNStreamer repo
- add add options for SNPE

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SPEC] Newly add devel-static packages

To avoid the license conflict issue by an automatic tool, this patch
newly adds the `capi-nnstreamer-devel-static` and `nnstreamer-devel-static`
packages which only contain static libraries. `devel` packages only have
headers and package config as below.

$ rpm -qlp capi-nnstreamer-devel-static-1.5.3-0.armv7l.rpm
/usr/lib/libcapi-nnstreamer.a

$ rpm -qlp capi-nnstreamer-devel-1.5.3-0.armv7l.rpm
/usr/include/nnstreamer/nnstreamer-single.h
/usr/include/nnstreamer/nnstreamer.h
/usr/lib/pkgconfig/capi-nnstreamer.pc

$ rpm -qlp nnstreamer-devel-static-1.5.3-0.armv7l.rpm
/usr/lib/libnnstreamer-tizen-sensor.a
/usr/lib/libnnstreamer.a
/usr/lib/libnnstreamer_decoder_bounding_boxes.a
/usr/lib/libnnstreamer_decoder_direct_video.a
/usr/lib/libnnstreamer_decoder_image_labeling.a
/usr/lib/libnnstreamer_decoder_image_segment.a
/usr/lib/libnnstreamer_decoder_pose_estimation.a
/usr/lib/libnnstreamer_filter_movidius-ncsdk2.a
/usr/lib/libnnstreamer_filter_nnfw.a
/usr/lib/libnnstreamer_filter_python2.a
/usr/lib/libnnstreamer_filter_tensorflow-lite.a

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Add remarks section in ml_tensors_data_create()

Since 6.0, ML_ERROR_STREAMS_PIPE error code is removed in
ml_tensors_data_create() function and ML_ERROR_OUT_OF_MEMORY is returned
for internal error. This patch adds a remarks section in
ml_tensors_data_create() for Tizen application developers.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Update README.md

- Update the name `NN Runtime` to `ONE Runtime` with a link to github repo of the project.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[TEST] Fix iio unit test that fails occasionally

Add sleep time unitl state changed within the timeout
Related issue : #2434

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[SPEC] Fix install files list

Fix install files list.
Seperate flatbuf as independent package.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android] custom-easy filter

Update custom-filter API using custom-easy.
- register custom-filter with in/out info and implement invoke interface only.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder] Dynamic update of tensor config

Changed to update tensor config dynamically.
Clear private data of subplugin, and init the subplugin.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android] enable nnfw

Change default option to enable NNFW in android-api build, and clean up build script.
When building android library, download nnfw libs from ONE repo and start to build library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/TF] code clean

change to static function to release buffer.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[doc/android] Update README for android build and test

- Add links to data for tflite and snpe test

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test/android/snpe] Add android tests with snpe

- Add classification result test with inception_v3 model
- Add runtime checks

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Protobuf] Add protobuf util function

The problem happens when multiple objects using .pb.cc file are loaded simultaneously.
I changed to tensor converter and decoder of protobuf subplugin shared libnnstreamer_protobuf.so

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Add tensor converter sub-plugin protobuf

Add tensor converter subplugin protobuf
Add protobuf unittest

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[C-Api] define new API for custom filter

This PR defines new APIs and callbacks for custom filter.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/AMCSrc] prevent build warning

1. fix macro to get private data in element (will be deprecated)
2. fix indent

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] Allow to fetch nnstreamer version

Let external nnstreamer plugins to probe nnstreamer version
at both run-time and build-time.

Fixes #2294

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] testcase with typecast option

Add new testcases for caps-nego in tensor-transform, and remove duplicated test code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Transform] nego failure with appsrc

When pushing the data directly from appsrc to tensor-transform (with typecast option), caps-negotiation failed and cannot run the pipeline.
To fix this, set type to unknown when direction is src pad.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/CAPI] Add testcases for element-wise control functions

This patch newly adds testcases for element-wise control function APIs.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Add element-wise control functions

This patch newly adds element-wise control functions to get and set
property values of the target element in NNStreamer pipeline.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Rename ml_pipeline_get_element() to ml_pipeline_get_gst_element()

This patch renames ml_pipeline_get_element() to
ml_pipeline_get_gst_element(). It is only used for demo application
internally and the name 'ml_pipeline_get_element' is going to use for
other purposes.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[CAPI] Add ml_error_e into CAPI_ML_FRAMEWORK group

This patch newly adds the ml_error_e Enumeration into the
CAPI_ML_FRAMEWORK doxygen group.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Decoder] Add tensor decoder subplugin flatbuffers

Add tensor decoder subplugin for flatbuffer

flatbuffers package can be found here :
https://launchpad.net/~nnstreamer/+archive/ubuntu/ppa-build-test/+packages

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Test] Add flatbuffer converter and decode test
Add flatbuffer converter and decoder run test

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TEST] Fix Tensor converter test

fix tensor converter unit test

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[C-Api] fix mem leak

1. add g_free to release the memory when appending mem block in buffer.
2. free interator in switch api.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Repo] fix a mem leak

fix a mem leak at tensor_repo

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Mux] add the new sync_mode:REFRESH

This new sync mode allows PUSHING with only one new buffer of sinkpads of `tensor_mux`. Previously, if `tensor_mux` want to push its buffers to srcpad, all of sink pads had to be filled with new buffers. However, this new mode, REFRESH, push buffers when `tensor_mux` receive a new buffer. For the other sink pads, except the one received the new buffer, will use again the previous one. It decides EOS when any of the sink pads receive it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] fix mem leak

fix possible mem leak in c-api testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] fix a memory leak

the allocated memory(when `allocate_in_invoke` is FALSE) should be free when `invoke()` returns not 0(OK)

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tests/Filter/EdgeTPU] Enable test() in the meson build script

This patch enables test(), which has been commented out, in the meson
build script for the EdgeTPU filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Add missing environment variable, NNSTREAMER_SOURCE_ROOT_PATH

This patch adds the missing environment variable,
NNSTREAMER_SOURCE_ROOT_PATH, to the test environment object in the
meson build script. This variable is necessary to run the test cases
via 'ninja test'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Mux/Merge] code clean

code clean, prepare new sync-mode.
- remove unnecessary param
- reduce code complexity
- change return val (true to push buffer to src pad)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean] remove unnecessary defines

code clean, remove unnecessary predefinition to set pad template.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Fix nnfw unit test

When testing the operation of the multi-framework, if tflite is disabled, the test fails.
If tflite is disabled, skip the test.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tests] Rename NNSTREAMER_BUILD_ROOT_PATH with NNSTREAMER_SOURCE_ROOT_PATH

In most cases, the environment variable, NNSTREAMER_BUILD_ROOT_PATH,
is used for indicating the root directory of the path to which the
'test_models' directory belongs, which means the source root path. To
avoid confusion, this patch renames it with NNSTREAMER_SOURCE_ROOT_PATH.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder] Add tensor decoder subplugin flatbuffers

Add tensor decoder subplugin for flatbuffer

flatbuffers package can be found here :
https://launchpad.net/~nnstreamer/+archive/ubuntu/ppa-build-test/+packages

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Test] Add test for imageseg-decoder and tensor_filter profiling

- Add test cases for newly added option `snpe-deeplab` and `snpe-depth`
- It also check profiling option of tensor_filter

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Conf/MemLeak] Add missing g_free() to nnstreamer_conf.c

This patch adds missing `g_free()` to `nnstreamer_conf.c`

`nnsconf_get_custom_value_string()` allocates `hashkey` in the first
line. However, if a value is found in the first hash lookup or a value
does not exist in anywhere, `hashkey` is not inserted to the hash table,
which results in memory leak.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[RepoSink] ignore sync and preroll

repo-sink may not receive a buffer when pipeline constructed.
set sync and async option to ignore this case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Coverage] Exclude generated files by flatbuf

Exclude generated files by flatbuf from coverage report

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tests/EdgeTPU] Use dummy device mode instead of dummy library

This patch revises the unit test cases for EdgeTPU to use dummy device
mode instead of the dummy EdgeTPU library.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-Api] handle invalid info when creating data handle

When creating the data handle, return error if given tensors-info is invalid.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

TAOS-CI / Enable clang-format for C++ codes

1. Enable clang TAOS-CI module
2. Add "C++ ONLY" mode for it.

Note that I need to update TAOS-CI to make it accept such options.
This depends on https://github.com/nnstreamer/TAOS-CI/pull/628

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/C-Api] add testcase of internal functions

add simple testcases to handle the case of invalid param.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] error code when failed to allocate tensor data

Remove unnecessary error code (stream-pipe).
If failed to allocate mem for tensors-data handle, API returns out-of-mem error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson] converter sub-plugin path in test-env

Update sub-plugin path in test-env, set converter plugin path.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix] Remove unncessary arg checking before calling g_strdup()

This patch removes uncessary argument checking before calling g_strdup()

If an argument of g_strdup() is NULL, its return value is also NULL.
So, checking its argument before calling is duplicated and useless.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Repo/Test] make it easier to understand

applying line change at the complicated pipeline to understand easier.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Filter/EdgeTPU] Add a 'dummy' device mode for the test purpose

This patch adds a 'dummy' device mode for the test purpose instead of
using the dummy shared library that pretends to be libedgetpu.so.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android] do not convert meta in invoke method

To improve performance, it is necessary to remove metadata conversion in invoke method.
Do not handle dynamic mode in invoke method and update description to change the tensor info.
Also, if output info is changed using set-info method, update cached instance in private data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] create info handle in private data

create info handle when allocating private data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/tflite] Fix typo

Assignment should be ended with semicolon if there is no special reason.
Replace `,` with `;`

Signed-off-by: junmin-kim <junmindd.kim@samsung.com>

[Android] constructor with info

In tensors-data class, update private constructor with tensor-info.
This can remove method call to set metadata in native.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Bugfix/Auto] Fix the bug to access freed memory region in auto fwname

This patch fixes the memory bug in auto tensor filter detection.

`gst_tensor_filter_get_available_framework` assumes that `fw_name` and
`prop->fwname` are pointing different memory regions.

However, `_gtfc_setprop_Model` has passed the argument `fw_name` as
`prop->fwname`, which may cause the invalid memory access.

In this case, `fw_name` is being accessed after `prop->fwname` is freed.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tensor Converter] Add tensor converter subplugin flatbuffer
Add tensor converter subplugin flatbuffer

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Filter/Custom] copy metadata in registration

In the filter custom-easy, prevent error case when developer tries to register custom-filter with local variables.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/EdgeTPU] Handle the error case when a compiled model is given

This patch is to handle the error case when a model compiled by
edgetpu-compiler is given. In general, a higher version of
tensorflow-lite (> 1.13) could support more various types of the tflite
models.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Converter] reduce complexity

code clean to reduce complexity
1. internal function to push multiple buffers.
2. remove unnecessary args

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Doc] build options

Update document, build options for android library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Meson] Fix the unknown variable error related to python filters

This patch fixes the unknown variable error related to the filter
sub-plugins for python 2 and 3.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Remove trailing whitespaces

This is a trivial patch to eliminate trailing whitespaces of the meson
build script in the source root.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Doc] fix wrong file name

fix wrong file name in converter header file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] fix invalid document

typo correction and fix document for converter sub-plugin api.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Filter] Add test case for NNS_custom_easy_unregister()

This patch newl adds test cases for NNS_custom_easy_unregister().

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/Custom/Easy] Add unregister function

This patch newly adds 'NNS_custom_easy_unregister()' function to remove
registered function so that pipeline itself can be reused without
changing custom model name.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Debian/control] Add flatbuf-dev build dependent package
As flatbuf headers are separated from tflite-dev pkg, flatbuf-dev pkg is added.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change find external converter function
Change to search for sub-plugins according to the mime type regardless of the name of the library

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change prototype of subplugin
Change subplugin function prototype of tensor converter

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change tensor config to tensors config

Change tensor config to tensors config. Assume single tensor only except subplugin.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Prepare to register sub-plugin

Preprare to register sub-plugin for flatbuffers and protobuf

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Filter/C++] Do not go further when failed to open NN framework

This patch adds more catch blocks that return negative error code in
cpp_open so that the execution does not go further when it failed to
open NN framework.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Provide a sub-package for the Edge TPU extension

This patch provides a sub-package for the Edge TPU extension.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson] Revise resolving build dependency for Edge TPU

This patch revises the mechanism that resolves the build dependency on
libedgetpu and header files.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson] Elminate white spaces

This is a trivial fix that eliminates white spaces in the meson build
script for the filter extensions.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests] Add 'nosync' option into mux

To fix `framerate` issue in mux, it set sync-mode to slowest as default.
However, This LSTM test case is hanging as a side-effect since it uses
both tensor_repo and tensor_mux. This patch adds 'nosync' option into
mux so that the test pipeline starts and finishes without hanging.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Mux] Set sync-mode to slowest as default

After passing mux / demux, the framerate is extremely bigger than
before. (Issue #2440) This is mainly because sync_mode of tensor_mux
filter is SYNC_NOSYNC. To fix this bug, this patch set sync_mode to
SYNC_SLOWEST as default.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Filter/Custom/Easy: fix doxygen entry

Fix easy-custom-filter API's doxygen entry.
It gets output dimenesion info as an input, not output.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] implement on-load in native

register native functions when loading native library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] return to static build

To execute model faster, return to static build.
Make all sub-plugins static libs and build one native so file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>