[Test] add filter-cpp test

add missed testcases - filter-cpp in tizen build.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] code clean

fix typo and remove duplicated code to compare file extension.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Badge] Change coverity link of the badge

Change coverity link of the badge because coverity project has been
changed.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Common] function to check peer caps

Update description to check peer pad caps, and fix invalid condition.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Join] remove unnecessary code

remove unnecessary code (duplicated free line)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[debian] Add nnstreamer-api-common-dev package

Currently, `capi-ml-common-devel` was added to rpm package but
corresponding package was not available in debian.

This patch adds `nnstreamer-api-common-dev` to the debian which
corresponds with `capi-ml-common-devel` in rpm.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Doc] Initial commit to generate doccument using hotdoc

Initial commit to generate doccument using hotdoc.
 - Modify markdown files to follow hotdoc's rule
 - Add element descriptions
 - The API reference is connected with doxygen book link
 - NNStreamer-example doc is linked.
 - Tizen nativa and .ENT doc is linked.
 - Android doc is linked.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Filter/Single] hide private properties

set private data for tensor-filter single properties.

TODO: move filter-single class to gst directory or declare extern for filter common function.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test/SSAT] Optimize python lazy `pack`

- Call python `pack` only once with list.
- This reduces test time on yocto qemu environment.
REF: https://stackoverflow.com/questions/9940859/fastest-way-to-pack-a-list-of-floats-into-bytes-in-python/9941455

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Add pc file for capi-ml-common-devel

pc file was missing for capi-ml-common-devel package.
This patch adds pc file so that capi-ml-common can be included from
`pkg-config`

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[gRPC/Src/Sink] Revise grpc_src/sink for the updated interface

This patch revises gRPC source/sink codes for the updated gRPC
common interface.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC/Common] Add grpc_config struct and revise gRPC common codes

This patch revises gRPC common codes by adding grpc_config structure.
Also, gRPC blocking mode will be supported soon.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Fix daily build path

Fix daily build directory path.

.... /nnstreamer/ci/taos/daily-build/ -> .... /nnstreamer/ci/daily-build/

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[C-API] fix double free case

If filter sub-plugin allocates output tensor, single-shot notifies releasing output buffer when closing the single handle.
In this case, we dont need to free the output handle itself. Calling single-close and destroy-outdata functions will make an error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[build/Android] Update android lib build script for PyTorch

- Add PyTorch to build script for android library

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tests/Meson] Fix wrong option values for 'sed' in meson.build

This is a trivial patch to fix wrong option values following the '-i'
option of 'sed' in the meson build script. Without this patch, some
useless files such as "unittest_tizen_custom.cc'.cc'" are generated in
the build directory.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Java-API] Fix `StateChangeCallback`

- StateCallback occasionally fails to get initial state changes (null -> ready or ready -> pause)
- Assign `mStateCallback` before `ml_pipeline_construct`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[C-API] Add note comment for ml_tensors_data_destroy and ml_single_close

This patch adds the note comment for ml_tensors_data_destroy and
ml_single_close APIs.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Fix the occasional Segmentation fault in test case.

When calling `ml_single_invoke()` after set the timeout option,
`ml_single_close()` should be called before destorying the inference
data. If not, the inference engine might try to access the data, which
is already freed by `ml_tensors_data_destroy()`.

This patch updates the related test cases.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Dist/gRPC] Create per-IDL grpc packages

This patch creates per-IDL grpc packages to resolve dependency issues.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] fix deprecated method

tostring() method was deprecated from python v3.2.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/Python] pycore lib name

fix pycore lib name format (failure on v3.9)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/test] Add test for pytorch in Android

- Add a image classification test for SingleShot and Pipeline API using
  PyTorch sub-plugin

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/PyTorch] Support pytorch subplugin on Android

- Support pytorch subplugin on Android

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter] code clean

code clean, add internal function and reduce duplicated code.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] release mem block in combi case

Possible res leak in output combination case, release mem block if output tensor is not in the combination list.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Build/Tizen] dependency to check privilege

set dependency to check privilege in tizen build.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[If] install header

add missed header for tensor-if custom callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson/TensorRT] Fix bugs in resolving dependencies on nvlibs

The existing logic to resolve dependencies on nvinfer and nvparsers
have bugs as follows:
1) Even though it is failed to find_library(), the declare_dependency()
   creates a valid dependency object that returns True for .found(). For
   this reason, the feature is enabled with some missing libraries.
2) Checking for required header files, NvUffParser.h and NvInfer.h, has
   been omitted.

This patch fixes the above bugs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Rate] Fix -Werror=sign-compare errors

This is a trivial patch to fix -Werror=sign-compare errors in
unittest_rate.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/PyTorch] Use try-catch block when loading pytorch model

If null or invalid paramete is passed when loading the pytorch model,
segmentation fault might occur and it makes runtime error. This patch
fixs this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Spec] Add pytorch & caffe2 filter package and require options

Even though `pytorch_support` is enabled, the pytorch filter is not
built since the necessary option is omitted. This patch newly adds the
pytorch & caffe2 filter packages and the requires option.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>
wip

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[JOIN] Remove unnecessary code and fix minor bugs

Remove unnecessary code and fix minor bugs.(pass NULL param).

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter/Sub] sub-plugin name prefix

define name prefix of tensor-converter sub-plugins.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] property to print sub-plugin list

add new property to get the sub-plugins list of tensor-converter.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean] element type classification

element name in nnstreamer and general classification of element.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Src/IIO] prevent assertion

prevent assertion, compare no of channles and handle error case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] change prop name (in/out combi)

Change property name for in/out combination and update document.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[If] init property values

remove unnecessary value and init null to avoid exception case using gst-inspect.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/SNPE] detect dlc file

add condition to check .dlc file for auto detection.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Dist/Debian] Revise 'Build-Depends' to support protobuf (>=3.12)

This patch revises the 'Build-Depends' field to use the protobuf
v3.12.3, which is provided by nnstreamer/ppa. This also fixes build
failure for Focal (and the laters) on the launchpad because of unmet
dependencies related to protobuf-compiler17.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TEST/SSAT] Print progress log

Because the SSAT result is printed after the tests are finished, the test results are not printed in deadlock status.
Change to print the progress logs.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tools/Parser] Parser Rule #4: chain/openchain with URL

Replacing GST methods with parser-only logic:
Rule 4 includes:
chain: openchain link PARSE_URL
openchain: PARSE_URL

With Rule 4, uri-element make is created.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CAPI] Wait until the pipeline state is changed

This patch fixes a potential danger after ml_pipeline_construct()
is called. As ml_pipeline_construct() does not wait the pipeline
state change, the following APIs such as set_property may affect
the initial pipeline processing with dummy data (even if the pipe
line is not started).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[C-API] Add tensor_if custom usage example

Add tensor_if custom condition usage example.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TEST] Add tizen capi test for tensor_if custom

Add tizen CAPI test for tensor_if custom

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[C-API] If custom condition implementation

If the if-condition is complex and cannot be expressed with tensor_if expressions, user can define custom condition.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android/doc] Add guide for using model file in scoped storage

- Add guide for providing model file to NNS Java API with scoped storage
- Fix guide for tflite nnapi delegate

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[gRPC/Fix] Decoupling gRPC IDL dependencies

This patch seperates gRPC IDL dependencies (protobuf/flatbuf) using
dlopen(). From now on, gRPC plugin does not have mandatory dependencies
for its IDLs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/Build] remove unnecessary lib for nnapi

NNFW internally uses nnapi library, this can break tf-lite nnapi option on android-11.
Remove this when building with NNFW.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] fix C-API header

Fix API headers with the script in API design guide.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Docs] Remove unnecessary HTML link for feature/privilege.

This patch removes the unnecessary HTML link for feature/privilege.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Define new API for tensor_if

Define new API for tensor_if custom register/unregister

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Tests] Use python3 instead of python2

This patch makes testscripts using numpy use python3 instead of python2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Python/Cleanup] Remove tensor_filter python2 sub-plugin

This patch removes tensor_filter python2 sub-plugin.

As Python2 is deprecated, we don't need to keep the codes to support
both versions simultaneously.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/Build] fix invalid path

Fix invalid path to nnstreamer src directory.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/TF-lite] prevent conflict to nnfw

Hide symbols in tensorflow-lite lib, to prevent conflict / exception case of tensorflow-lite and nnfw (ruy library).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-API] fix invalid parameter direction

Fix invalid parameter direction of the C-API.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android/Build] Add an option to display help messages

This patch adds a option, '--help', to display how to use the build
script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/TFlite] Support an extra argument for the TFLite version to use

This patch updates the build script to support an extra argument for the
TensorFlow Lite version to use. The version can be given using the
'--enable-tflite' option as follows: --enable-tflite=yes:1.13.1. Note
that 1.13.1 can be replaced with other valid versions, 1.9.0, 1.15.2,
and 2.3.0.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/Parser] Parser Rule #3: chain, openchain, link, pads, morepads

Replacing GST methods with parser-only logic:
Rule 3 includes:
- chain
- openchain
- link
- pads
- morepads

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Spec] Disable some components in tizen-6.0 profile

This patch disables some components in tizen-6.0 profile.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/Build] Clean-up previously downloaded files

This patch adds a command line for clean-up the previously downloaded
third-party/external software tarballs. Note that this is a workaround
solution to be changed later.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/Build] Clean-up generated files after the building is done

This patch adds a command to remove 'nnstreamer_version.h' generated
during the build procedure to the Android API build script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/API] Correct inconsistency in indentation rules

This patch corrects inconsistency in the indentation rules as follows;
- In .mk, indentation is not allowed unless it is multiple-line values
  assignment to a variable or a command.
- In .sh, 4 spaces of indentation is used.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/Decoder] Add the decoder sub-plugin for FlatBuffers to AAR

This patch adds the decoder sub-plugin for FlatBuffers to the Android
library (i.e., AAR).

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Fix/UnitTest] Add mutex to count number of callbacks

This patch adds mutex to count number of callbacks.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Spec] Enable nnfw filter on x86 architecture

Since nnfw works on on x86 architecture for the Tizen emulator, This
patch enables the nnfw filter when building x86 architecture.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Fix/TFlite] Change tflite soname for grep in few unittests

This patch changes tflite soname for grep in few unitests.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Fix Psuero-Element Constructor

It should initialize all elements including glist properties.
Do so by using g_new0 instead of g_malloc.
Fixes #2929 .

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tools/Parser] Parser Rule #1 and #2 updated

Replacing gst-factory method with simplified implementation.
Updated grammar and its static function for parsing rule
1. element
2. elementary

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[android/test] Remove unnecessary permission

- WRITE_EXTERNAL_STORAGE permission is not necessary for test
- Remove the permission

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/NNFW] update ONE version

ONE v1.12.0 now released, update ONE version for next release.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] Update meson build command options

Update meson build command options

Signed-off-by: Seonkyo Ok <uyw4687@naver.com>

[Filter] reduce complexity

Code clean, add internal function for filter properties.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/Sub] sub-plugin priority

Set sub-plugin priority in ini.
(For tensorflow-lite, tf2-lite has high priority if tf2-lite is available.)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix/gRPC] Fix minor typos in gRPC common codes

This patch fixes some minor typos in gRPC common codes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC/Tests] Add some testcases for gRPC/flatbuffers

This patch adds some testcases for gRPC/flatbuffers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC] Revise existing build/source codes

This patch revises existing build/source codes for gRPC utils refactoring.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC] Code refactoring for gRPC's flatbuffer support

This patch performs code refactoring for gRPC's flatbuffer support.
The existing gRPC codes can be re-used for flatbuffer as well.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/TF-lite] change so name

change .so name (tensorflow-lite to tensorflow1-lite for tf-lite 1.x version)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/TF-lite] subplugin name for tf-lite

change sub-plugin name for tensorflow-lite.
- Android : tensorflow-lite (only one version available)
- Tizen : tensorflow2-lite / tensorflow1-lite for each tf-lite version

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/CodeClean] function description

1. add function description details.
2. add code to free old fw type before setting new string.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TensorRate/Tests] Add some unittests for tensor_rate

This patch adds some unittests for tensor_rate.
It increases the coverage of gsttensorrate.c from 67.7% to 78.3%.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Replace GST macros to dummy

We do not need to create GST objects with this parser.
Do not use GST object invoking macros.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/Test] stop pipeline when test is done

Add code to stop pipeline when test is done.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] fix resource leak

Fix test failure case, release thread specific key when closing native handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] Update filter manual

Since new features of the filter are added, update the manual.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android/TF-lite] method to set tf-lite delegate

parse custom option string to set tensorflow-lite delegate.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add tensors out case when num_teensors is 1

Add tensors out test when num_tensors is 1

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TensorCommon] Add get tensors cap common function

Add get tensors cap common function.
If the number of tensors is 1, it is to cover the case that only othenr/tensors is supported by peer pad.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

Release of NNStreamer 1.7.1 devel

This is a developmental (unstable) release of NNStreamer 1.7.1.

1.7.0 -> 1.7.1
        - Major features
                - Tensor-IF, a new element. It allows to create conditional branches based on tensor values.
                - Join, a new element. It merges output sinks from src pads of different elements with the same GST-Cap.
                - Tensor-rate, a new element. It allows throttling by generating QoS messages.
                - TensorRT support
                - TF1-lite and TF2-lite coexistance
                - TFx-lite NNAPI, GPU Delegation

        - Minor features
                - hw-accel options for tensor-filters are refactored
                - python3-embed enabled if python3 >= 3.8
                - Subplugin initialization optimization.
                - Docker scripts for Ubuntu developers.

        - Fixes
                - flatbuf dependency related with tensorflow-lite.
                - tensor-decoder configures framerate.
                - Dynamic dimension related API issues fixed.
                - MacOS, Yocto compatibility issues fixed. (A few Yocto known issues are still remaining.)
                - License mismatches resolved.
                - A few Test cases fixed.
                - Packaging issues fixed and style cleaned-up.

        - Extra
                - A lot of interesting sample applications are added.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[test] Fix ninja test for `join`

- Add gst_join_plugin path to testenv in meson

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[unittest] Fix some unittest for yocto

- Set src_iio test with channels 3 -> 2
- Skip file permission test if the user is root
- Make division compatible with python3

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/TF-lite] feature for tf-lite

define features in .mk file (GPU / NNAPI delegate and types for tf-lite version)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Update gstparser's types

We do not need to load up actual GObjects for this parser.
Thus, the data structures should be simplied.
Define substitute data types for GST Elements as well.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Fix resource and mem leak

Fix resource and mem leak

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Debian] Fix the broken symlink

This patch fixes the broken symlink for DEB_HOST_MULTIARCH environment
variable.

$ dpkg-query -L nnstreamer:amd64
...
/usr/lib/$(DEB_HOST_MULTIARCH)
/usr/lib/$(DEB_HOST_MULTIARCH)/libnnstreamer.so

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android/Build] remove unnecessary so

When building Android lib, remove unnecessary file (tf-lite lib) in ONE package.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Fix/gRPC] Fix gRPC unittests to use an unused port for each test

This patch fixes gRPC unittests to use an unused port for each test.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>