[Converter] reduce complexity

code clean, reduce code complexity.
add internal function to parse incoming caps for custom mode.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder/BoundingBox] revive old modes for backward compatibility

For the old-pipeline, make the previous names are usable.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Decoder/BoundingBox] change the name of option

The mode of this decoder should be decided according to the model rather than the framework.
Currently, however, some of the modes are decided by the framework: `tf-ssd`, `tflite-ssd`

If we want to use this decoder to run a TFLite model that include the `postprocess`, we have to use `tf-ssd`.
It could occur some confusion.
For this reason, I want to suggest that the name should be changed.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[indent] Change indent style

Change coding style
  - but no space after unary operators:
     &  *  +  -  ~  !  sizeof  typeof  alignof  __attribute__  defined
reference: https://www.kernel.org/doc/html/v4.10/process/coding-style.html

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Docs] Change nnstreamer CI server link

Change nnstreamer CI server link

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Enable detection for nntrainer singleshot

This patch maps *.ini as nntrainer to utilize auto detection for
nntrainer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Common/Collect] check null param

add condition to check null param (public functions only)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux/Merge] clear collect pad data

Clear old buffer in collect pad data when received flush event.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Add caps filter

Add caps filter of tensor converter for _NNS_MEDIA_ANY type.

Example launchline:
```
...
        tensor_filter silent=false framework=tensorflow-lite model=tflite_model/ssd_mobilenet_v2_coco.tflite ! \
        tensor_decoder mode=flexbuf ! other/flexbuf ! tensor_converter silent=false ! \
        other/tensors, num_tensors=2, framerate=30/1, dimensions=\"4:1:1917:1\,91:1917:1:1\", types=\"float32\,float32\" ! \
        tensor_decoder mode=bounding_boxes option1=tflite-ssd option2=tflite_model/coco_labels_list.txt option3=tflite_model/box_priors.txt option4=640:480 option5=300:300 ! ... \
```

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Change menu tree name of contributing doc.

Change menu tree name of Documentation/contributing.md.
Related issue: #3100

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder/DirectVideo] add the video format RGBA

To handle various video formats, the available formats are required for the direct video decoder and add an option to handle it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TEST] Add converter and decoder subplugins test

Add tensor converter and decoder subplugin test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] Add tensor transform mode option test

Add tensor transform mode option test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add tensor common unittests

Add unittest for tensor common functions.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TCM] Modify tca config files

 - Move android and tizen config file of the TCM to nnstreamer/api repo
 - Modify nnstreamer config file of the TCM

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter/Decoder] Add error handling code and testcases

Add error handling code for tensor converter and decoder subplugins
Add testcases for tensor converter and decoder subplugins

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Define function to find subplugins

Define function to find converter subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[aggregator/converter] Fix when GST_EVENT_FLUSH_*

- Do not reset tensor config when flush event occurs, just clear the buffers

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Mux/Merge] change property name

change property name (sync mode and option), remove underbar in property name.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SRNPU/FILTER] Add auto detection for SRNPU subplugin

This patch adds auto detection for SRNPU subplugin.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/AMC] clear looper

Clear looper when media steam is finished.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Change gboolean comparison

Never directly compare the contents of a gboolean variable with the values TRUE or FALSE.
Use `if (condition)` to check a gboolean is "true", instead of `if (condition == TRUE)`. Likewise use `if (!condition)` to check a gboolean is "false".
There is no validation when assigning to a gboolean variable and so it could contain any value represented by a gint. This is why the use of if (condition) is recommended.
All non-zero values in C evaluate to "true".

Refer: https://developer.gnome.org/glib/stable/glib-Basic-Types.html#gboolean

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Fix/Python3] Fix install link name of python3 module

This patch fixes install link name of python3 module.

As python subplugin scripts import 'nnstreamer_python',
its name should be also matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Converter] Remove duplicated error handling code

Remove duplicated error handling code.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Fix mem leak of the converter

A memory leak occurred because the name of the tensor was not released.
Free the name of the tensor and set default name as "" instead of
"Anonymous"

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform] add regex for stand mode

1. add regex for stand mode, filter option string.
2. ignore upper/lowercase.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/EdgeTPU] tf-lite ver for EdgeTPU

When tensorflow2-lite is enabled, set dependency tf2-lite to build EdgeTPU sub-plugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test/tensor_transform] Add testcases for stand

- Add SSAT testcases for stand: default and dc-average

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_data] Make tensor_data_raw_* return allocated memory

- `gst_tensor_data_raw_*` get double pointer for result as input. And allocate memory for it.
- Correspond change in tensor_transform and gsttensorif
- Divide with N, not N - 1 when calculate standard deviation

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_transform] Add "per-channel" option to stand

- "channel" is the first dimension.
- Support channel-wise default and dc-average transform

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Add apply option testcases for tensor transform

Add apply option testcases for tensor transform

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TRANSFORM] Add apply option

User can select tensors to apply transformation.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] Fix the Svace issue

ret variable is used without initialization. This patch fixes the bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[TizenSensor] init sensor type

set init value of sensor type. 'all' means no specific sensor and if user does not set type in pipeline, it will be failed.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeQuality] add return error value

without error return, there are a lot of unreachable code blocks will be existed.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[CodeQuality] check the variables before using it

check the allocated or passed variables has proper state.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[CodeQuality] release memory when test is failed

when a test case is finalized with ASSERT, the allocated memory should be freed properly.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TensorIf] add a NULL checker

To improve code quality, I want to suggest a null checker.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Doxygen] Add missing doxygen tag

Add missing doxygen tag for tensorrt

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Subplugins] Add extern "C"

Add extern "C" in converter, decoder and filter subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Flatbuffers] Change function name

Change the name of functions to be consistent.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Fix typo in md files

Typo correction in md files.

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Spec] Remove archiving script

This patch removes an archiving script, which is not necessary.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[RPM] Add virtual conf package

Add virtual conf package to resolve build dependency issue as suggested
in https://github.com/nnstreamer/api/pull/21#issuecomment-804599118

With this patch, it is now possible to install devel package with
`/etc/nntrainer.ini` or the packager choose to use `test-devel` when
building.

See also nnstreamer/nntrainer#1034

**Evaluation Method**
Cross building with nntrainer package

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Cc: Myungjoo Ham <myungjoo.ham@samsung.com>
Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[CONVERTER] Change custom mode name

Changed custom mode name to custom-code fot callback type.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform/Orc] orc acceleration for tensors

condition to support orc acceleration for each tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Flatbuffer] Remove memcpy in converter

Remove memory copy in converter.
Memory allocation occurs two times on g_memdup and gst_memory_new_wrapped.
Changed to use gst_memory_share.
No memory copy is performed and the memory region is simply shared.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Modify tensor_if README.md

 - Remove description of unsupported properties.
 - Elaborate the description.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

tests/nnstreamer_repo_dynamicity: Fix unittest_repo binary path handling

In case the unit tests are run from their installed directory,
unittest_repo binary can't be found in this case because install test
directory path and unittest_repo binary location are invalid.

This fixes regression introduced by bfb6630ff and 0c02456ba

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

CODEOWNERS: Add members

We had been accepting new members.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TEST] Add tensor transform testcases for tensrs stream

Add tensor transform testcases for tensrs stream

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TRANSFORM] Changed to support tensors

Changd tensor transform to support tensors

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add tensor decdoer cusotom mode unittest

Add tensor decoder custom mode unittest

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add decoder cusotm operation

It is similar to cusom-easy of the tensor filter.
Get an input tensors and make output media stream.
It can be used to create cusom media stream from tensors such as flexbuffer.
Output capability is application/octet-stream.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[grpc/debian] Disable grpc packages in debian distro

This patch disables grpc packages in debian distro.
For now, gRPC is only supported in Tizen env.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[gRPC/Test] Add gRPC unittests using asynchronous APIs

This patch adds gRPC unittests using asynchronous APIs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Build/Android] prepare subplugins for flatbuf

Prepare Android API build, add definition for flatbuf/flexbuf subplugins.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add tensor converter custom mode unittest

Add tensor converter custom mode unittest.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Add converter cusotm operation

Add converter custom operation.
It is similar to cusom-easy of the tensor filter.
Get an input buffer and make output tensor.
It can be used to create tensors from not supported capabilities or
flexible data structure such as flexbuffer.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add flexbuf test for converter and decoder

Add flexbuf test cases for converter and decoder

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Add flex buffer converter

Add tensor converter subplugin of flexbuffer.
Convert flexbuffer to tensor(s)

Example launch line:
gst-launch-1.0 videotestsrc !  video/x-raw,format=RGB,width=320,height=240 ! tensor_converter ! tensor_decoder mode=flexbuf ! other/flexbuf ! tensor_converter ! tensor_decoder mode=direct_video ! videoconvert !  videoscale ! video/x-raw,width=320,height=240 ! xvimagesink

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add flex buffer decoder

Add tensor decoder subplugin offlexbuffer.
Decode tensor(s) to flexbuffer.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] Add configuration for VD build

* Disable NNFW, ArmCL, Viviante, pytorch, caffe2 & tensorflow.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Transform] option for DC removal

Add new option for DC removal (average value) in stand mode.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] tensor data struct

Now tensor-transform and tensor-if use common data struct to handle data.
Add new struct and common functions to handle tensor type and value.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[API] Remove API directory

- Finish migration of API related code to ML API repo (github.com/nnstreamer/api)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Doc] Fix Android build guide after ML API repo

- Fix Android library build guide for ML API with nnstreamer
- REF: https://github.com/nnstreamer/api/java

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[api/Android] Remove api related declarations in nnstreamer.mk

- Remove `NNSTREAMER_CAPI_*` from jni/nnstreamer.mk

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter/Python3] Include <stdexcept> for std::runtime_error support

This fixes the following build issue:

error: 'runtime_error' is not a member of 'std'
|   192 |       throw std::runtime_error (dlerror ());

https://en.cppreference.com/w/cpp/error/runtime_error

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Filter/Lua] Design of LUA script rules for nnstreamer.

Provided comments on how to write nnstreamer filters with LUA.

Related with #3095

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Spec] Fix the buildbreak issue for VD

* Disable OpenVino
* Omit the test case execution & testcase summary

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Fix] Add missing file section in rpm build

As nnstreamer mata package was not containing `files` section, it led to
the recent SR fail, this patch resolves the issue.

Also add %config directive to the configuration file

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Doc] Change hotdoc generation script

Change hotdoc generation script.
This change will prevent broken link in github.io

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform] handle empty option string case

If option string is empty, tensor-transform cannot parse the mode and will crash application.
Add error case for empty option string.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder/Pose] Add support for position offset output tensor

The decodeur can change its decoding scheme thanks to option4.
The possible mode are:
- 'heatmap-only' (default):
   * The confidence score is within [0:1] range.
   * The keypoint position can be directly used.
- 'heatmap-offset
   * This decoding scheme is applicable for posenet:
https://www.tensorflow.org/lite/examples/pose_estimation/overview
   * Sigmoid has to be applied to get condidence score
   * Additional offset tensor has to be considered to map a keypoint
    in the NN input resolution range prior to downscale to heatmap
    grid resolution size.
   Example for posenet_resnet50_16_513 NN (Same Input/Output resolution) :
... ! tensor_decoder mode=pose_estimation \
option1=513:513 option2=513:513 \
option3=key_point_labels.txt option4=heatmap-offset ! ...

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Decoder/Pose] Get key body connections from optional file

The body connections are added to each keypoint line in the
optional key body listing file.
A space separated number list is expected to describe other keypoints
connected to the current's one.

For example, default pose decoder configuration could be described
as the following:
top 1
neck 0 2 5 8 11
r_shoulder 1 3
r_elbow 2 4
r_wrist 3 1
l_shoulder 1 6
l_elbow 5 7
l_wrist 6
r_hip 1 9
r_knee 8 10
r_ankle 9
l_hip 1 12
l_knee 11 13
l_ankle 12

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Package] Seperate nnstreamer into core and conf

This patch separates nnstreamer into nnstreamer-core and nnstreamer-configuration.
From this patch, nnstreamer becomes a meta package that requires
`nnstreamer-core` and `nnstreamer-configuration`.

**Evaluation Method**
gbs and pdebuild

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>
Cc: Myungjoo Ham <myungjoo.ham@samsung.com>

[Doc] Add documentation of using test-devel

Add documentation of how to utilize test-devel package in the
perspective of subplugin developer

**Self evaluation:**
1. Build test: [ ]Passed [ ]Failed [X]Skipped
2. Run test: [ ]Passed [ ]Failed [X]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Packaging] Add test-devel to rpm/dpkg

Add test-devel to rpm/dpkg

This patch...
1. offers `nnstreamer-template.ini.in` from test-devel package
1. offers `subplugin_unittest_template.cc.in` from test-devel package
1. for rpm test-devel, it renames /etc/nnstreamer.ini until test-devel
is unintalled
1. add pkg-config variable to locate test related templates

Resolves #3124

Tested using gbs and pdebuild

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[TEST] Test protobuf and flatbuf support tensors

Test whether flatbuffer and protobuf support other/tensors.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform] tensor type in stand mode

Currently only float32 can use stand mode in tensor-transform.

Add option to set output type and calc stand mode.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] Fix typo

Fix typo made in #3130

Signed-off-by: Juyeong Lee <2jy22@naver.com>

[Decoder] file content size

When loading data from file, use param to get the contents size.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[tests/decoder_pose] Remove dummy option3 setting from command line

Option3 is now used to specify the labels file.

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Decoder/Pose] Add support for optional pose label file

This adds an optional option (3), specifying the pose labels file path.

A label per line is expected, line number specifying the pose id.

If this option is not selected, legacy label mapping is used as fallback.

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Decoder/Pose] Run gst-indent

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Decoder/Utils] Remove last empty label while enumerating labels from file

While parsing the labels file, a label per line is expected.
g_strsplit(file_contents, '\n', -1) is used to parse the file and
returns the label as a string vector.

The last '\n' in the file introduces an additional empty element, as the
delimiter involves 2 elements.

Hence, the patch is removing the last trailing '\n' to avoid this
additional dummy element in the labels list.

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

[Decoder/Utils] Run gst-indent on tensordecutil.c

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

Remove underscore in test names

Resolves #2541
Update test suit names and test names not to contain underscore.
This follows gtest recommendations.
https://github.com/google/googletest/blob/master/docs/faq.md#why-should-test-suite-names-and-test-names-not-contain-underscore

Signed-off-by: Juyeong Lee <2jy22@naver.com>

[Coverity] Fix coverity issues (CID 314892, 314893)

This patch fixes coverity issues (CID 314892, 314893)
- UNINTENDED_INTEGER_DIVISION

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/TF-lite] tensor name in meta

Set tensor name in tensors info struct.

TODO: we should update testcases in api repo later.
Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Fix md file link

1. Fix all the md files in
$NNST_ROOT/*.md
$NNST_ROOT/Documentation/*.md
$NNST_ROOT/tools/*md
which has a link to other md files

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Edge/MQTT] Manifest for MQTT implementation

This describes more specific for #3104.
The assignees of #3104 should refer to this document for implementation.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Python] Change the logic to find the python library name

This patch changes the logic to find the python library name.

The library name depends on which options were used to build python.
For example, if python 3.7 was compiled with '--with-pymalloc',
the library name is 'libpython3.7m.so'

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[If] fix typo

Fix typo, property name of tensor-if element.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Revert "[Debian] Temporally disable caffe2/tensorflow"

This reverts commit dd053adff98fadd339eb9a5f50078bdcae73d7f7.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Build] fix install path

fix build error, change unittest install path.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson] Revise build dependency checking mechanism for MvNCSDK2

The existing build dependency checking mechanism for MvNCSDK2 is
unnecessarily complex. This patch revises it.

See also: https://review.tizen.org/gerrit/#/c/platform/adaptation/npu/intel-libmvnc/+/254171/

Reported-by: Jaeyun Jung <jy1210.jung@samsung.com>
Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test] unittest install dir

change unittest install dir (libdir to bindir) and update related build script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Docs] Fix broken links in contributing guide

This patch updates broken links in contributing guide.

Signed-off-by: Juyeong Lee <2jy22@naver.com>