[Converter] Add tensor converter sub-plugin protobuf

Add tensor converter subplugin protobuf
Add protobuf unittest

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[C-Api] define new API for custom filter

This PR defines new APIs and callbacks for custom filter.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/AMCSrc] prevent build warning

1. fix macro to get private data in element (will be deprecated)
2. fix indent

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] Allow to fetch nnstreamer version

Let external nnstreamer plugins to probe nnstreamer version
at both run-time and build-time.

Fixes #2294

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] testcase with typecast option

Add new testcases for caps-nego in tensor-transform, and remove duplicated test code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Transform] nego failure with appsrc

When pushing the data directly from appsrc to tensor-transform (with typecast option), caps-negotiation failed and cannot run the pipeline.
To fix this, set type to unknown when direction is src pad.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/CAPI] Add testcases for element-wise control functions

This patch newly adds testcases for element-wise control function APIs.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Add element-wise control functions

This patch newly adds element-wise control functions to get and set
property values of the target element in NNStreamer pipeline.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Rename ml_pipeline_get_element() to ml_pipeline_get_gst_element()

This patch renames ml_pipeline_get_element() to
ml_pipeline_get_gst_element(). It is only used for demo application
internally and the name 'ml_pipeline_get_element' is going to use for
other purposes.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[CAPI] Add ml_error_e into CAPI_ML_FRAMEWORK group

This patch newly adds the ml_error_e Enumeration into the
CAPI_ML_FRAMEWORK doxygen group.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Decoder] Add tensor decoder subplugin flatbuffers

Add tensor decoder subplugin for flatbuffer

flatbuffers package can be found here :
https://launchpad.net/~nnstreamer/+archive/ubuntu/ppa-build-test/+packages

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Test] Add flatbuffer converter and decode test
Add flatbuffer converter and decoder run test

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TEST] Fix Tensor converter test

fix tensor converter unit test

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[C-Api] fix mem leak

1. add g_free to release the memory when appending mem block in buffer.
2. free interator in switch api.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Repo] fix a mem leak

fix a mem leak at tensor_repo

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Mux] add the new sync_mode:REFRESH

This new sync mode allows PUSHING with only one new buffer of sinkpads of `tensor_mux`. Previously, if `tensor_mux` want to push its buffers to srcpad, all of sink pads had to be filled with new buffers. However, this new mode, REFRESH, push buffers when `tensor_mux` receive a new buffer. For the other sink pads, except the one received the new buffer, will use again the previous one. It decides EOS when any of the sink pads receive it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] fix mem leak

fix possible mem leak in c-api testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] fix a memory leak

the allocated memory(when `allocate_in_invoke` is FALSE) should be free when `invoke()` returns not 0(OK)

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tests/Filter/EdgeTPU] Enable test() in the meson build script

This patch enables test(), which has been commented out, in the meson
build script for the EdgeTPU filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Add missing environment variable, NNSTREAMER_SOURCE_ROOT_PATH

This patch adds the missing environment variable,
NNSTREAMER_SOURCE_ROOT_PATH, to the test environment object in the
meson build script. This variable is necessary to run the test cases
via 'ninja test'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Mux/Merge] code clean

code clean, prepare new sync-mode.
- remove unnecessary param
- reduce code complexity
- change return val (true to push buffer to src pad)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean] remove unnecessary defines

code clean, remove unnecessary predefinition to set pad template.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Fix nnfw unit test

When testing the operation of the multi-framework, if tflite is disabled, the test fails.
If tflite is disabled, skip the test.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tests] Rename NNSTREAMER_BUILD_ROOT_PATH with NNSTREAMER_SOURCE_ROOT_PATH

In most cases, the environment variable, NNSTREAMER_BUILD_ROOT_PATH,
is used for indicating the root directory of the path to which the
'test_models' directory belongs, which means the source root path. To
avoid confusion, this patch renames it with NNSTREAMER_SOURCE_ROOT_PATH.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder] Add tensor decoder subplugin flatbuffers

Add tensor decoder subplugin for flatbuffer

flatbuffers package can be found here :
https://launchpad.net/~nnstreamer/+archive/ubuntu/ppa-build-test/+packages

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Test] Add test for imageseg-decoder and tensor_filter profiling

- Add test cases for newly added option `snpe-deeplab` and `snpe-depth`
- It also check profiling option of tensor_filter

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Conf/MemLeak] Add missing g_free() to nnstreamer_conf.c

This patch adds missing `g_free()` to `nnstreamer_conf.c`

`nnsconf_get_custom_value_string()` allocates `hashkey` in the first
line. However, if a value is found in the first hash lookup or a value
does not exist in anywhere, `hashkey` is not inserted to the hash table,
which results in memory leak.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[RepoSink] ignore sync and preroll

repo-sink may not receive a buffer when pipeline constructed.
set sync and async option to ignore this case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Coverage] Exclude generated files by flatbuf

Exclude generated files by flatbuf from coverage report

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tests/EdgeTPU] Use dummy device mode instead of dummy library

This patch revises the unit test cases for EdgeTPU to use dummy device
mode instead of the dummy EdgeTPU library.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-Api] handle invalid info when creating data handle

When creating the data handle, return error if given tensors-info is invalid.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

TAOS-CI / Enable clang-format for C++ codes

1. Enable clang TAOS-CI module
2. Add "C++ ONLY" mode for it.

Note that I need to update TAOS-CI to make it accept such options.
This depends on https://github.com/nnstreamer/TAOS-CI/pull/628

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/C-Api] add testcase of internal functions

add simple testcases to handle the case of invalid param.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] error code when failed to allocate tensor data

Remove unnecessary error code (stream-pipe).
If failed to allocate mem for tensors-data handle, API returns out-of-mem error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson] converter sub-plugin path in test-env

Update sub-plugin path in test-env, set converter plugin path.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix] Remove unncessary arg checking before calling g_strdup()

This patch removes uncessary argument checking before calling g_strdup()

If an argument of g_strdup() is NULL, its return value is also NULL.
So, checking its argument before calling is duplicated and useless.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Repo/Test] make it easier to understand

applying line change at the complicated pipeline to understand easier.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Filter/EdgeTPU] Add a 'dummy' device mode for the test purpose

This patch adds a 'dummy' device mode for the test purpose instead of
using the dummy shared library that pretends to be libedgetpu.so.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android] do not convert meta in invoke method

To improve performance, it is necessary to remove metadata conversion in invoke method.
Do not handle dynamic mode in invoke method and update description to change the tensor info.
Also, if output info is changed using set-info method, update cached instance in private data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] create info handle in private data

create info handle when allocating private data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/tflite] Fix typo

Assignment should be ended with semicolon if there is no special reason.
Replace `,` with `;`

Signed-off-by: junmin-kim <junmindd.kim@samsung.com>

[Android] constructor with info

In tensors-data class, update private constructor with tensor-info.
This can remove method call to set metadata in native.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Bugfix/Auto] Fix the bug to access freed memory region in auto fwname

This patch fixes the memory bug in auto tensor filter detection.

`gst_tensor_filter_get_available_framework` assumes that `fw_name` and
`prop->fwname` are pointing different memory regions.

However, `_gtfc_setprop_Model` has passed the argument `fw_name` as
`prop->fwname`, which may cause the invalid memory access.

In this case, `fw_name` is being accessed after `prop->fwname` is freed.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tensor Converter] Add tensor converter subplugin flatbuffer
Add tensor converter subplugin flatbuffer

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Filter/Custom] copy metadata in registration

In the filter custom-easy, prevent error case when developer tries to register custom-filter with local variables.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/EdgeTPU] Handle the error case when a compiled model is given

This patch is to handle the error case when a model compiled by
edgetpu-compiler is given. In general, a higher version of
tensorflow-lite (> 1.13) could support more various types of the tflite
models.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Converter] reduce complexity

code clean to reduce complexity
1. internal function to push multiple buffers.
2. remove unnecessary args

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Doc] build options

Update document, build options for android library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Meson] Fix the unknown variable error related to python filters

This patch fixes the unknown variable error related to the filter
sub-plugins for python 2 and 3.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Remove trailing whitespaces

This is a trivial patch to eliminate trailing whitespaces of the meson
build script in the source root.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Doc] fix wrong file name

fix wrong file name in converter header file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] fix invalid document

typo correction and fix document for converter sub-plugin api.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Filter] Add test case for NNS_custom_easy_unregister()

This patch newl adds test cases for NNS_custom_easy_unregister().

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/Custom/Easy] Add unregister function

This patch newly adds 'NNS_custom_easy_unregister()' function to remove
registered function so that pipeline itself can be reused without
changing custom model name.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Debian/control] Add flatbuf-dev build dependent package
As flatbuf headers are separated from tflite-dev pkg, flatbuf-dev pkg is added.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change find external converter function
Change to search for sub-plugins according to the mime type regardless of the name of the library

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change prototype of subplugin
Change subplugin function prototype of tensor converter

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Change tensor config to tensors config

Change tensor config to tensors config. Assume single tensor only except subplugin.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Converter] Prepare to register sub-plugin

Preprare to register sub-plugin for flatbuffers and protobuf

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Filter/C++] Do not go further when failed to open NN framework

This patch adds more catch blocks that return negative error code in
cpp_open so that the execution does not go further when it failed to
open NN framework.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Provide a sub-package for the Edge TPU extension

This patch provides a sub-package for the Edge TPU extension.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson] Revise resolving build dependency for Edge TPU

This patch revises the mechanism that resolves the build dependency on
libedgetpu and header files.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson] Elminate white spaces

This is a trivial fix that eliminates white spaces in the meson build
script for the filter extensions.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests] Add 'nosync' option into mux

To fix `framerate` issue in mux, it set sync-mode to slowest as default.
However, This LSTM test case is hanging as a side-effect since it uses
both tensor_repo and tensor_mux. This patch adds 'nosync' option into
mux so that the test pipeline starts and finishes without hanging.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Mux] Set sync-mode to slowest as default

After passing mux / demux, the framerate is extremely bigger than
before. (Issue #2440) This is mainly because sync_mode of tensor_mux
filter is SYNC_NOSYNC. To fix this bug, this patch set sync_mode to
SYNC_SLOWEST as default.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Filter/Custom/Easy: fix doxygen entry

Fix easy-custom-filter API's doxygen entry.
It gets output dimenesion info as an input, not output.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] implement on-load in native

register native functions when loading native library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] return to static build

To execute model faster, return to static build.
Make all sub-plugins static libs and build one native so file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix][Filter/Prop] Fix performance property (latency) for tensorfilter

- Initialize with zero value.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder/Neon] Support neon accl for SNPE deeplab/depth seg decoder

This patch supports neon accl for SNPE deeplab/depth seg decoder

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Decoder/Fix] Revise tensordec-imagesegment impl. and fix minor bugs

This patch revises tensordec-imagesegment impl. and fix minor bugs

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android] private data to set metadata

Each invoke callback gets/returns tensor data object including metadata.
To improve performance, Cache tensor metadata object and avoid duplicated conversion.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Start development of 1.5.3 as 1.6.0-RC4

As soon as all major known bugs and SVACE/Coverity issues are fixed,
I'm going to release 1.6.0.

Cheers!

```
1.5.2 -> 1.5.3
- Mediapipe's graphs (NNStreamer pipeline equivalent) may be embedded as an element in NNStreamer pipeline
- Qualcomm SNPE is supported (tensor-filter subplugin)
- Verisilicon Vivante is supported (tensor-filter subplugin)
- NNStreamer --> Protobuf decoder added.
- New tensor-filter subplugin API "v1" released. (with v0 backward compatibility)
- Tensor-filter now accepts C++ classes as a subplugin. Edge-TPU subplugin is re-written as an example.

- Meson script re-worked.
- Semantics of hardware-acceleration options for tensor-filter re-worked.
- API/Android: nnfw-runtime (neurun) and SNPE support
- API/Android: usability update.
- API/Android: less invokation latency. (more optimization coming in next versions)
- API/C: bugfixes, architectural upgrade, latency reduction.
- tensor-filter has latency and throughput performance monitors.
- tensor-sink is by default "sync=false". If appsink or tensor_sink in NNStreamer Pipeline API's pipeline has sync=true, emit warning messages.
- Architectural updates: lower CC, less duplication, removed dependency cycles, less complicated #if statements and blocks.
- Test suite updates: timeout handling, arm-arch error fixes, more test cases (supplying more negative cases), floating-point handling. and a lot more fixes and performance (latency) optimizations.
- Build script updates: cleaned up dependencies and applied "feature" meson feature.
- No more essential class in assert() for optimized binaries.
- Much less assertions. Apply error-handling instead.
- Daily build & test activated and published.
- Rules & policy updated to comply with LF/AI.
- Memory leaks removed: from demux, split, and a few more components.

- Known bug: edge-TPU subplugin is not working in Tizen devices recently.
```

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] typo in mk file

fix typo in mk file (jni nnstreamer defines)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Tizen/spec: disable mvncsdk/edgeTPU for DA build

DA requested to remove mvncsdk/edgeTPU from the dependency.
Disable them for their builds.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[NNFW] set backend after loading model

recently updated, nnfw set-backend should be called after loading the model.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

doc: how to enable vivante tensor filter

This commit is to append how to enable the Vivante tensor filter
based on Vivante NPU Toolkit library on Ubuntu/ARM and Tizen/ARM devices.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Movidius Filter: Fixed typos

This commit is trivial. Let's fix typos in the Movidius filter file.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

[Filter/TFLite] remove ineffective codes

setting allocation type is not effective anymore.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Decoder] Extend tensordec-imagesegment to support snpe-deeplab/depth

This patch extends tensordec-imagesegment to support snpe-deeplab/depth.
Also, it include minor code refactoring.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/Prop] Add performance properties (lat/fps) for tensor filter

This patch adds performance properties (latency/throughput) for tensor filter.

Those properties will be used for the overlay information, to show the performance
of tensor filter (e.g., SNPE).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

SPEC: fixed indentation

This commit is trivial. It is to keep an indentation consistently.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

[Android/Custom] drop input buffer

In custom-filter interface, returning null in invoke-callback will drop the input buffer.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] function to get pipeline element

Add new function to get the gst-element from pipeline handle.
For native developers, it is necessary to get pipeline element to use gstreamer functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Log] add definition log-fatal

define new nns_logf (common fatal-log definition with nns_log prefix)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder/protobuf] Add protobuf tensor_decoder sub-plugin

- Add tensor_decoder sub-plugin "protobuf" to support Protocol Buffers

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter] bugfix: dangling pointer access.

gfree should be called when you completed accesing it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

README update: add committer, update hw-accl, ci status

- Add the new committer
- Add the list of hardware accelerators
- Add daily-release status

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Doc update: component-description

There are a few components completed. Update component list

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter] fix a tiny mem leak

move a few `g_free()` to fix mem leak

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Build/Fix] Add a missing header to 'nnstreamer_cppplugin_api_filter.hh'

This patch adds a missing header, string.h, to
'nnstreamer_cppplugin_api_filter.hh', which uses memcpy().

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Conf] parse sub-plugins name

Basename is unnecessary, set sub-plugins name while loading configuration.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Build/Tests] Fix 'tests/meson.build' to always find 'copy'

This patch fixes minor build errors when `libpng_dep` does not exist.
`tests/nnstreamer_filter_extensions_common/meson.build` is using this
variable regardless of `libpng_dep`'s existence.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[single] Add missing gstTensorFilterFramework v1 support

Add missing support for gstTensorFilterFramework in checking framework availability
for a given backend accelerator/hardware

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android] cache method id

1. get required method ids to improve performance when initializing the pipe info.
2. add internal method to handle arraylist.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] release mem block when execution failed

release in/out mem blocks when failed to invoke nn framework.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/SNPE] Decouple SNPE env setting from native-api

- Move function for android SNPE env setting from nnstreamer-native-api.c to tensor_filter_snpe.cc

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[SNPE] Add custom properties

- Add Debug message
- Add custom prop for snpe runtime and cpu_fallback options
ex) "custom=Runtime:GPU,CPUFallback:true"

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android] prepare dsp/npu runtime for snpe filter

- Add required snpe-sdk libs
- Set `jniLibs.srcDirs` to this project explictly contains snpe-sdk libs for dsp/npu
- Make function `nns_set_env` to set env "ADSP_LIBRARY_PATH" (https://developer.qualcomm.com/docs/snpe/dsp_runtime.html)
- Log SNPE version
- Prevent build SNAP and SNPE together in android build script and
  Android.mk

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Aggregator] Remove duplicated function to set caps
Remove duplicated works to set source pad cap when sink event is received

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>