[Filter/TF-lite] change so name

change .so name (tensorflow-lite to tensorflow1-lite for tf-lite 1.x version)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/TF-lite] subplugin name for tf-lite

change sub-plugin name for tensorflow-lite.
- Android : tensorflow-lite (only one version available)
- Tizen : tensorflow2-lite / tensorflow1-lite for each tf-lite version

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/CodeClean] function description

1. add function description details.
2. add code to free old fw type before setting new string.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TensorRate/Tests] Add some unittests for tensor_rate

This patch adds some unittests for tensor_rate.
It increases the coverage of gsttensorrate.c from 67.7% to 78.3%.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Replace GST macros to dummy

We do not need to create GST objects with this parser.
Do not use GST object invoking macros.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/Test] stop pipeline when test is done

Add code to stop pipeline when test is done.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] fix resource leak

Fix test failure case, release thread specific key when closing native handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] Update filter manual

Since new features of the filter are added, update the manual.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android/TF-lite] method to set tf-lite delegate

parse custom option string to set tensorflow-lite delegate.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add tensors out case when num_teensors is 1

Add tensors out test when num_tensors is 1

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TensorCommon] Add get tensors cap common function

Add get tensors cap common function.
If the number of tensors is 1, it is to cover the case that only othenr/tensors is supported by peer pad.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

Release of NNStreamer 1.7.1 devel

This is a developmental (unstable) release of NNStreamer 1.7.1.

1.7.0 -> 1.7.1
        - Major features
                - Tensor-IF, a new element. It allows to create conditional branches based on tensor values.
                - Join, a new element. It merges output sinks from src pads of different elements with the same GST-Cap.
                - Tensor-rate, a new element. It allows throttling by generating QoS messages.
                - TensorRT support
                - TF1-lite and TF2-lite coexistance
                - TFx-lite NNAPI, GPU Delegation

        - Minor features
                - hw-accel options for tensor-filters are refactored
                - python3-embed enabled if python3 >= 3.8
                - Subplugin initialization optimization.
                - Docker scripts for Ubuntu developers.

        - Fixes
                - flatbuf dependency related with tensorflow-lite.
                - tensor-decoder configures framerate.
                - Dynamic dimension related API issues fixed.
                - MacOS, Yocto compatibility issues fixed. (A few Yocto known issues are still remaining.)
                - License mismatches resolved.
                - A few Test cases fixed.
                - Packaging issues fixed and style cleaned-up.

        - Extra
                - A lot of interesting sample applications are added.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[test] Fix ninja test for `join`

- Add gst_join_plugin path to testenv in meson

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[unittest] Fix some unittest for yocto

- Set src_iio test with channels 3 -> 2
- Skip file permission test if the user is root
- Make division compatible with python3

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/TF-lite] feature for tf-lite

define features in .mk file (GPU / NNAPI delegate and types for tf-lite version)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Update gstparser's types

We do not need to load up actual GObjects for this parser.
Thus, the data structures should be simplied.
Define substitute data types for GST Elements as well.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Fix resource and mem leak

Fix resource and mem leak

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Debian] Fix the broken symlink

This patch fixes the broken symlink for DEB_HOST_MULTIARCH environment
variable.

$ dpkg-query -L nnstreamer:amd64
...
/usr/lib/$(DEB_HOST_MULTIARCH)
/usr/lib/$(DEB_HOST_MULTIARCH)/libnnstreamer.so

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android/Build] remove unnecessary so

When building Android lib, remove unnecessary file (tf-lite lib) in ONE package.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix/gRPC] Fix gRPC unittests to use an unused port for each test

This patch fixes gRPC unittests to use an unused port for each test.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[unittest] Fix signed-unsigned compare and command line option

- Fix signed vs unsigned comapre in unittest_grpc
- Make unittest_sink properly get command line option like `--gst-plugin-path=`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[android/SNPE] Add test for multi output SNPE

- Add two tcs for testing multi output SNPE model
- One is with custom prop and the other with tensor info

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter/SNPE] Support multiple output layers

- Existing snpe filter only use the final layer of the given model.
- This patch makes the filter support multiple output layers.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>
fix

[doxygen] Add missing tags

- Add missing tags in SNPE sub-plugin

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] path to build dir

set build root (current dir) if env var is not set.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[meson] Add deps declaration for tensorrt, grpc

command: meson build -Dtensorrt-support=disabled
log: ERROR: Unknown variable "tensorrt_deps".

Without empty dependency declaration, features can not recognize
"tensorrt_deps".
Ditto grpc.

Signed-off-by: junmin-kim <junmindd.kim@samsung.com>

[gRPC/Tests] Add some unittests for gRPC source/sink

This patch adds some unittests for gRPC source/sink, including
- basic operations & property
- multi-pieline examples

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage/Fix] Exclude auto-generated files from coverage analysis

This patch excludes auto-generated files from coverage analysis.
It's mostly related to protobuf/flatbuf build process.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/tflite] Support GPU Delegate on Tizen

This patch supports the GPU Delegate functionality on Tizen platform.

NNStreamer filter for TFLite2 GPU delegate only supports OpenCL backend
since GLES v3.1 backend has a constraint that Invoke() must be called
from the same EGLContext.

If both tensorflow2_lite_support and tensorflow2_gpu_delegate_support
are set as 1 in nnstreamer.spec, GPU Delegate functionality is enabled.
If tensorflow2_gpu_delegate_support is set but tensorflow2_lite_support
is 0, then tensorflow2_gpu_delegate_support option is ignored.

Since Tensorflow2 GPU delegate is ready,
tensorflow2_gpu_delegate_support is set as 1 in this patch.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[android/build] Patch NDK source to prevent build error

- After Android API level 28, the introduced
  `AMediaCodecOnAsyncNotifyCallback` make comile error.
- Make build script to patch this part after
  https://android.googlesource.com/platform/frameworks/av/+/master/media/ndk/include/media/NdkMediaCodec.h#117

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter/Sub] preserved name

add preserved name 'any' in sub-plugin config.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools] GstPipe String Parser

Rather than rewriting lex/yacc code from scratch for python,
modify GST's lex/yacc (flex/bison) C code and call it
from python.

This is the first commit of parser and simply imports
GST-Parser code without touching it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Build script clean: nnstreamer-check built by default

The main meson script will not handle utilities
under /tools/development

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C-Api] define sub-plugin names

Fix typo and add new function to get the nnfw type by subplugin name.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Style] macro block style fix.

Let users add semicolons at the end.
Do not add semicolons at the end of the macro definition.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Style] doxygen error fixed after clang-format fix

After clang-format fix, a lot of doxygen errors are discovered.
Fix them all.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Style] Apply clang-format

Apply clang-format with the .clang-format file of nnstreamer
to all *.cc (C++) files

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Style] Update clang-format

1. Do not affect doxygen comments
2. Keep gtest include at the top.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/ONE] update ONE version

Prepare next release, update ONE version to 1.11.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/NNFW] invalid tensor info

1. Fix invalid tensor info ptr when setting new tensor shape.
(Running dummy invoke tries to set old tensor info.)
2. Allocate dummy buffer and init to 0.
3. Handle insufficient output buffer case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Join] Add testcases for join

Add testcases for join element.
Line coverage: 92.4%

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[gRPC] Implement tensor_source (client) and tensor_sink (server)

This patch implement a reverse pair of gRPC tensor_source/tensor_sink.
(i.e., tensor_source as client and tensor_sink as server)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/Test] remove unnecessary format conversion

In Android testcase, remove unnecessary format conversion to glimagesink.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix/Debian] Fix some typos in debian/control

This patch fixes some typos in debian/control
- MUlti-Arch --> Multi-Arch

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensorRate/Filter] Skip inference when QoS events arrive

This patch implements a simple QoS mechanism which skips
inference when QoS events arrive from tensor_rate.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DIST/RPM] Code Clean .spec for readability and non-Tizen users

1. .spec file code cleaned for readability
2. reflect recent changes in usage conditions of a few subplugins
3. allow to use CAPI in other Linux distros.

Addresses #2564

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/Doc] Add guide for using NNAPI delegate to README

- Add guide for using TensorFlow Lite NNAPI delegate to README.md

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/Test] testcases for new methods

Add testcases for methods to set surface and check element availability.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Api] method to check element availability

Add new method to check element available on the pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Build] fix warning (type conversion)

fix warning in android native build (type conversion)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SPEC] Add capi-nnstreamer-devel Requires to capi-nnstreamer package

Since the rootstrap of Tizen v6.5 is not ready, some application built
on v6.0 needs libcapi-nnstreamer.so file. Because of this reason, this
patch temporarily adds the capi-nnstreamer-devel Requires to
capi-nnstreamer package. It will be removed when the rootstrap of Tizen
v6.5 is ready.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android] fix invalid window error

prevent invalid window handle case.
video-sink does not set new window handle directly. If video-sink accesses released window handle, this will crash an application.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Confchk] Show custom property description for sub-plugins

This patch adds feature to show custom property description for
registered sub-plugins.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools] GstPipe<-->Pbtxt Conversion / Skeleton

Skeleton code for GstPipe<-->Pbtxt Conversion.

Ultimately, we can use web-based WYSIWYG tools based on this! (next year or later)

This commit offers a python script that construct a pipeline object
from a parsed GstPipeline string and generate a pbtxt pipeline from it.

Next step: write a parser of GstPipeline (modify Gstreamer's .y and .l)

Changes in V2:
- Applied change requests from reviewers. (var names, SPDX, )

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[NNFW] print retry count log

For debug, add log retry count in set-dimension function.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TensorIF] Add custom callback

Add custom callback to support user defined condition

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TensorIF] Add testcases for custom condition

Add testcases for custom condition

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[JOIN] Support packaging for join element

To provide rpm and debian package of join element.
Package is provied by nnstreamer-extra package.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[JOIN] Add new element join

Add new gstreamer element: join
The join select the out that arrived first among the input streams.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android] method to set surface

Add new method to set a surface to video-sink element.
In Android application, developer can simply set SurfaceHolder object to glimagesink.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/TensorRT] Add unit testcases for TensorRT filter

This patch newly adds unit testcases for TensorRT filter.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/TensorRT] Add a sub-plugin filter for TensorRT

This patch newly adds an sub-plugin filter for TensorRT to support
Nvidia GPU. It is implemented based on tensor_filter_subplugin class and
catches the DESTROY_NOTIFY event to clean up the used GPU memory.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-Api] element availability

Add new function to check the element availability (registered and not restricted)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean] indent and common function

Code clean, fix indent and common ptr to handle tensor info struct.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Debian] Modify nnstreamer install files

Modify the install file list since grpc and join are newly added to the gst path.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[gRPC/Sink] Implement gRPC tensor sink

This patch implements gRPC tensor sink as a client.
Its gRPC server mode is WIP.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensorFilter] Add unit testcases for input and output combination

Add unit testcases for input and output combination options.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TensorFilter] Combined Tensor Picking

Add options for input and output combination.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tizen/gRPC] check gRPC capability in nnstreamer.spec

This patch enables gRPC plugin in DA profile.

The below shows gRPC package status in each profile.
- DA: gRPC 1.20.1
- VD: None

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensrDemux] Add testcases for tensors out

Add testcases for tensors out.
Re-use of the tensor and non-sequential combinations are also possible.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TensorDemux] Support other/tensors on src pads

Changed to suppot ohter/tensors on src pads.
Related issue: #2844

Signed-off-by: gichan <gichan2.jang@samsung.com>

[filter/tflite] Define macro for version check

- Add version check macro for delegate support

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/tflite] Support gpu delegate

- Support gpu delegate for tflite-2.3.0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>
ffix

[Android] Bump up the minimum SDK version

- Tflite gpu delegate requires sdk version higher than 28
- Bump up the minimum sdk version from 24 to 28

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test/NNFW] fix invalid tc

nnfw-1.10 was released and now supports dynamic dimension.
Enable testcases and fix invalid test conditions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Add CII Best Practices Badges

LF-AI/Data recommends to maintain CII Best Practices checks.

This badge shows the status.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[gRPC/Packaging] Support packaging for nnstreamer-grpc

This patch supports packaging for nnstreamer-grpc.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC/Source] Implement gRPC tensor source

This patch implements gRPC tensor source as a server.
Its gRPC client mode is WIP.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC/protobuf] Implement a helper class for NNStreamer gRPC service

This patch implements a helper class for NNStreamer gRPC service.
It appends the definition of gRPC service to 'nnstreamer.proto'.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[unittest] Fix signed-unsigned comapre

- Fix gtest's complaint about signed-unsinged comapre in unittest_if

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Update test cases for dimension string when it is explicitly given in Pipeline

If the dimension string is explicitly given in the pipeline, the
returned dimension string by g_object_get() should return the same
value. This patch update related test cases and adds a new one.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Update dimension string when it is explicitly given in Pipeline

Even though the dimension string of the input tensor is given in the
pipeline, the 'input` property is always fixed 4 dimensions (i.e.
d1:d2:d3:d4). This patch returns the dimension string considering tensor
dimension and rank count.

For example, given tensor filter parameters
'tensor_filter input=3:224:224', the returned dimension string is
'3:224:224' instead of '3:224:224:1'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android] handle invalid context

Handle invalid param case -init nnstreamer with invalid context.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] codeclean

1. move native methods registration to each file.
2. add new function to get data ptr in native.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[tensorfilter] Set default framework when no priority

tensor_filter auto detection of framework takes in the extension
and for tflite extension tries to identify the framework using
a priority set with the configuration.
however, in case, the priority string is NULL, no tensor_filter
framework is set although multiple tensor_filters supporting
this extension can exist.

This patch sets a default framework for tflite extension which is
overwritten based on the priority if priority exists.

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android/tflite] Fix NNAPI inference bug

- Use NNAPI delegate directly instead of deprecated `UseNNAPI` method.
- Resolve #2755.
- REF: https://github.com/tensorflow/tensorflow/commit/bf6f488c1102a88252960c4c8b90f6122e966b14

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android] fix invalid handle case

Prevent invalid element handle case, compare element type when getting the element handle in hash table.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[android/test] Add negative test cases with Options

- Add three negative test cases for newly added `Options`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[android/SingleShot] Add Options class for configuring SingleShot instance

- Add Options to configure SingleShot instance preparing new features that might be added in future

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Repo] Fix the assertion error when executing `gst-inspect-1.0 command

When executing `gst-inspect-1.0 tensor_reposrc' command, below error
occurs.
======================
$ gst-inspect-1.0 tensor_reposrc
...

** (gst-inspect-1.0:29483): CRITICAL **:
gst_tensor_repo_remove_repodata: assertion '_repo.initialized' failed
======================

The main reason that the disposal callback always removes the repodata
even though it is not initialized and it causes the assertion error.
This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[TensorIF] Fix unit test fail on arm arch

The pipeline state changed to NULL before saving the result file due to slow speed of arm.
Give enough time or wait until the file is created.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Filter/tflite] Remove NNAPI option

- Remove NNAPI custom prop
- Enable NNAPI after the accelerator property
- @todo Support appropriate delegates after the accelerator prop

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/Build] remove unnecessary build flag

remove unnecessary build flag - nnapi in jni is for nn-runtime.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] Testcase for rank count logic in Tensor Filter

This patch newly adds the test cases for rank count logic in Tensor
Filter.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter] Add rank count logic to GstTensorFilterProperties

This patch newly adds the rank count logic to GstTensorFilterProperties.
The rank count is automatically calculated based on the given dimension
string and NNStreamer rank count rule.

For example, given tensor filter parameters, input ranks are calculated
as follows.

* 'tensor_filter input=3:224:224': input rank is 3.
* 'tensor_filter input=3:224:224:1': input rank is 4.
* 'tensor_filter model=mobilenet_v1.tflite': input rank is 3 since input
  dimension of given model is '3:224:224'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[README.md] Add hall-of-fame section to README.md

This patch adds hall-of-fame section to README.md

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Filter/TF2-Lite: remove unnecessary if in meson

TF2-Lite has all such data types enabled.
We do not need to check them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Filter/TF2-Lite: fix dependnecy big (meson)

tf2-lite should use tf2-lite dependency.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_filter_common] Fix a wrong example in accelerator prop spec

This patch fixes the wrong accelerator example in the prop spec.
This helps other developers to avoid confusions.
In actual tests, the true:(GPU,NPU,!CPU) format fails to be accepted so
that it switches to default mode. Also test cases do not cover such
format as well [1].

It also adds a note where to find available accelerator names.

[1]:
https://github.com/nnstreamer/nnstreamer/blob/main/tests/nnstreamer_filter_tensorflow_lite/runTest.sh#L108

Signed-off-by: Bumsik Kim <k.bumsik@gmail.com>

[Dist/Debian] Move libcapi-nnstreamer.a and .so to the development package

This patch removes libcapi-nnstreamer.a from the main package and moves
libcapi-nnstreamer.so to the development package.

Signed-off-by: Wook Song <wook16.song@samsung.com>