filter::python3: do not break converter/decoder

A python-global reference counter is required for py-finalize.
This is workaround before applying such a global reference counter.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_transform] Fix confusing usage of transpose

- Correct usage is `... option=1:2:0:3` when a user want to change tensor
  layout NHWC into NCHW.
- Fix document abuout it.
- Fix incorrect usage in a SSAT test.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, prevent index error case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Remove the MOBILE and WEARABLE tags in header file

Since both mobile and wearable profiles in Tizen project are removed,
related tags also should be removed. This patch removes them at Tizen
PM's request.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[build] Check flatbuffers header files before build tflite subplugin

- TFLite API requires flatbuffers header. Let meson check required header
- Add `BuildRequires` flatbuffers-devel explicitly in spec

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Suppress valgrind errors due to system libraries

Added a valgrind-suppression configuration that ignores Valgrind errors from:
- Python runtime
- Between glib/gstreamer
- Not freeing memory allocated by gstreamer/gobject class init.

This works with SSAT 1.3.0+.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github action: add tests of valgrind, gtest, ssat.

Add test runs for github-action - Ubuntu clean build.
However, do not block PRs for valgrind errors until
we get most valgrind errors fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/TF-lite] fill 1 when changing input dimension

After implementing 0-init dims, tf-lite subplugin fills zero when changing input dimension.
Fill 1 if given dimension is 0 dim value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check tensor dim to append previous caps

Prevent appending same caps if tensor dimension has min rank 4.
(e.g., given dim is 1001:1, previous caps with rank 4 is unnecessary.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] condition to update dimension

For caps negotiation, compare tensor dimension if caps is tensor stream and already configured.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[QueryClient] handle tensor buffer

1. Decrease the ref count of incoming buffer if an error occurs.
2. Check the number of requested buffer before creating edge-data handle, and try to get the output from query-server.
3. Append gst-buffer using util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Set cpp_std=c++17 (changed from c++14)

- Recent neural network frameworks needs c++17 standards to use its APIs
- Let nnstreamer be built with c++17.
- Add a Wno flag to snpe filter.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

RISCV/lua: disable an exception handling test case

Somehow, in Ubuntu 20.04 filter::lua@RISCV cannot handle
exceptions as x64/aarch64 handles.

Issue #4342 will track this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Configure unit test environments

Unit test requires a few more configurations for plugins.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/riscv64: update build name

The build name was incorrect. It's Ubuntu now!

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/onnxruntime] Add unit tests and ssat tests for ONNX Runtime

 - Add gtest based unit test for ONNX Runtime
 - Add SSAT test cases for ONNX Runtime tensor filter subplugin

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Filter/onnxruntime] Add filter subplugin for ONNX Runtime

 - Add onnxruntime filter with ONNX runtime
 - To build ONNX Runtime: https://onnxruntime.ai/

TODO:
 - Only supports CPU. GPU and oter hardware support is NYI.
 - Only supports float32 with input/output. Other types are NYI.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Doc] remove unnecessary lines from ml-api

Code clean, now we do not define data structure in ML API repo and use common functions of nnstreamer.
Remove unnecessary lines defined in api repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Modify description of model-load-path

Change to 'pre-trained' instead of 'existing' expression

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Transform] available caps without peer

tensor-transform cannot determine the caps, this element can set out-caps by using incoming caps.
Remove unnecessary query for peer caps and update types of out-caps if input has tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[datareposrc] Bugfix: Fixed removing JSON file before unittest

- The Filename is changed for each TC because sometimes the JSON file of
  unittest(fps30ReadFlexibleTensors) is deleted by g_remove() in the previous unittest

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[trivial] Fix some typos

- Fix some typos in some old source code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Enable clang with some deps

- Fix compile error with clang

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] macro for max number of tensors

Change definition for the max number of tensors (256), and update related code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[doc] Fix outdated urls

- Fix outdated urls for Tizen releases.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] tensorflow-lite version in testcase

Fix version of tensorflow-lite.
Both version 2.x and 1.x can be used in testcase if tensor-filter property framework is tensorflow-lite.
Default version is v2.x, and it has higher priority.

Also, added minor patch to fix indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Reviewers] update reviewers

Update reviewers list in nnstreamer repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary compile args for SNPE sub-plugin

- Remove those args thus it's not needed with recent snpe sdk.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean/Element] util function to handle tensors

Code clean, use common util function to handle tensor information and memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/CodeClean] update description

Code clean, update doc and API description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] Add tensor query test for drop prop

 - Add tensor query test for drop prop.
 - Add framerate for tensor query server.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Query] Add drop prop to query client

Currently, the query client sends all input buffers to the query server.
If the processing speed of the server is slower than the client,
The result time of the server is gradually different from the input time.
To prevent this, the server processes only two buffers, and drop the remaining input buffers.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Subplugin/flatbuf/protobuf] util to handle tensor data

Use common util function to handle tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Common/API: Introduce g_auto for automatic memory cleaning of "gchar *"

This patch introduces g_autofree and g_auto for automatic memory
cleaning of "gchar *" and "gchar **", respectively. Note that "GStrv" is
a typedef alias for "gchar **".

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] util to handle tensor info

Code clean, fix indent and use util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/CodeClean] util to append tensors

Code clean, remove duplicated code and use util function to append tensor memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo/CodeClean] parse gst-caps

Code clean,
- reduce function call, parse caps and update stream type.
- update log message.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Edge] Remove re-connect from nnstreamer element

 - Since the reconnection has been changed to be done inside the nns-edge, nns_edge_connect for reconnection is deleted from the nnstreamer element.
 - Add state change function and set `playing` prop.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Common] init after free

Set default value after releasing tensor information struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] Typecast using G_TENSOR_FILTER_SINGLE_PRIV macro

 Changed to use a macro when converting a pointer to the GstTensorFilterSinglePrivate type.
 Through this, the type conversion method is unified in other functions to maintain
 consistency and ensure stability.

Signed-off-by: linuxias <linuxias@gmail.com>

[Test/CodeClean] macro to handle tensor info

Code clean, use valid macro in test.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Element/gprc] release tensor-config struct

Release tensor-config struct when finalizing the element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Change gbs cache timing

- Let action cache gbs every morning weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder] macro for video formats

Define macro to specify video formats supported in decoder direct-video.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Trivial, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/SensorSrc] fix mem leak case

Code clean, fix mem leak case when failed to add new gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check index to get nth tensor

Code clean, check index to get nth tensor from gst-buffer and remove unnecessary code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] validate tensors info

Validate output tensors info after parsing pyobject.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] fix log util

Update util function to print log message in python module.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Cache gbs once every weekday

- Let the new workflow cache gbs every weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Do not run workflows on every push

- Doing every workflows on each push is not necessary as each
  pull request already checks it.
- Do not run those to save the earth!

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] unref memory when appending tensor buffer

Fix util function to take gst-memory if failed to append it.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] fix mem leak case

Fix mem leak case if failed to append memory into gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Converter/Python] function to handle tensor buffer

Change util function to handle gst-buffer including tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] util to get nth info

Code clean, use util function to handle nth tensor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Gbs build with `_skip_debug_rpm` and `--skip-srcrpm`

- Let gbs build do not make debug rpms and skip srcrpm
- This will save some seconds..

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Let gbs action cache 'GBS-ROOT/local/cache'

- Let github action cache the directory. Speed gbs build up by removing
  package downloads.
- The cache key is the date. The very first run each day will make new
  cache.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

doc: product list updates

We have more products using NNStreamer. Update the list.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

README: add face landmark example

Use the code from https://github.com/songgot/Tizen_IoT_face_landmark
CC: @songgot
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Common] hide old rank limit

Hide old rank limit from header.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Fix meson install and usage

- Let ubuntu build install proper meson and python.
- And use meson commands explicilty rather than use outdated action from
  github marketplace

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Add a gst-launch-script example for audio

- Add a simple audio classification gst-launch example.
- This resolves #3777

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[edge] Deprecate port and host property of edgesrc and update description for port property

- Add a description of deprecated for port and host property of edgesrc.
  In the case of edgesrc, port and host settings are not required.
- Update description of port property of edgesink

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[util] Fix gst_tensors_info_to_string

- Let the method returns string ended with "]" always.
- Let get_dimension_string returns NULL when given dim is filled with 0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Decoder: Add detailed descriptions for the bounding box sub-plugin

In addition to nnstreamer#4284, this patch adds descriptions for the
bounding box sub-plugin options.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Decoder/BoundingBox: Apply gst-indent to the bounding box sub-plugin

This is a trivial patch that applies gst-indent to the bounding box
sub-plugin of Tensor Decoder to keep the constant code style.

Signed-off-by: Wook Song <wook16.song@samsung.com>

decoder: add detailed descriptions for a few subplugins.

As #3903 requests, we need descriptions for subplugin users.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

decoder/filter: more info for gst-inspect.

Show available frameworks / mode with gst-inspect.
This is the first step to address #3903

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[test] Add SSAT testcases for yolo decoders

- Add SSAT TCs for yolov5 and yolov8 decoder.
- Add raw input files and golden result files.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[decoder] Fix track mode bug (wrong struct size)

- Fix wrong size of glib array for distanceArray.
  sizeof (float) -> sizeof (distanceArrayData)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add simple ssat testcase for pose decoder

- Add a simple test for option3 and option4 (increasing line coverage)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Delete unnecessary empty line

Signed-off-by: seungha son <linuxias@gmail.com>

github-action: ubuntu-llvm/clang build test

Add llvm/clang build test.
Fixes #3979

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Support clang/clang++

Fix clang's complaints.
Addressing #3979

To build w/ LLVM, do
$ CC=clang CXX=clang++ meson ...

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Filter/MLAgent: Replace MLAgentd with MLAgent

Since MLAgentd would not be used interchangeably with MLAgent anymore,
this patch applies those changes.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Apply function name changes in the MLAgent API

This patch applies the changes of function names in the MLAgent API.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[decoder] Let user set yolo decoder parameters

- Let option3 of yolo decoders can handle user provided parameters.
  For yolov5 and yolov8 mode:
    The option3 requires up to 3 numbers, which tell
    - whether the output values are scaled or not
      0: not scaled (default), 1: scaled (e.g., 0.0 ~ 1.0)
    - the threshold of confidence (optional, default set to 0.25)
    - the threshold of IOU (optional, default set to 0.45)
  An example of option3 is "option3=0:0.65:0.6"

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build] allowed element (identity)

Add 'identity' in the list of allowed elements.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

memleak fix: tensor_split forgot to free things.

1. split->tensorseg is not freed when overwritten.
2. tensordim pointers are never freed but new-ed frequently.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter: handle error of convert_to_meta

gst_tensor_info_convert_to_meta may return error
if the configured output tensor is invalid.
Handle the error before feeding it to another function,
that may access uninitialized value.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: don't wait for 10000sec. wait 10sec.

wait_pipeline_process_buffers accepts timeout in ms, not us.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

decoder:tensor_region: fix for future expansion.

- Fix a mem leak (tr_exit())
- For future expansion with different mode, prepare exiting previous modes.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

style fix: decoder/tensor_region dos2unix & trailing whitespaces

It was formatted in "DOS" type. Apply dos2unix.
Then, remove trailing whitespaces.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

build: better flatc-flatbuf version mismatch message

Flatbuf is not enabled if the version of flatc mismatches.
Print a more friendly message for such version mismatch.

This helps #4226

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test/datarepo_src: scope error

The bus_callback was using a global variable, loop,
while its registerers (e.g., TEST (datareposrc, fps30ReadFlexibleTensors) )
has loop local variable.

Therefore, the callback has been using uninitialied and unrelated
global variable, loop, which often causes unit test errors:

```
[  316s] [ RUN      ] datareposrc.fps30ReadFlexibleTensors
[  317s] Elapsed time: 0.687305 second
[  317s] ../tests/nnstreamer_datarepo/unittest_datareposrc.cc:686: Failure
[  317s] Expected: (0.8) < (elapsed_time), actual: 0.8 vs 0.687305
[  317s] Elapsed time: 0.003219 second
[  318s] Elapsed time: 1.001501 second
[  318s] [  FAILED  ] datareposrc.fps30ReadFlexibleTensors (2045 ms)
```

by exiting from g_main_loop too early.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[decoder] Add log option for bounding_box decoder

- Add an option to decide whether to log (print) result boxes.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Filter/MLAgent: Initial draft for ml-agent support in TensorFilter

This patch is an initial draft to bring the ML Agent features into NNS.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Doc] edit documentation files related with tensor info

This patch edits docs and comments related with tensor info.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[Filter/Decoder] function to get property

Fix warning on gst-inspect cmd,
1. add config-path to read plugin properties.
2. update invalid description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

DataRepo/Src: Apply g_autoptr for local variables

This patch applies g_auto and g_autofree for local gchar * and gchar **
variables to improve readability.

Signed-off-by: Wook Song <wook16.song@samsung.com>

DataRepo/Src: Add missing null check to the finalize function

Since a null check is omitted in the finalize function, g_object_unref
complains about it in some cases as follows:

(unittest_datareposrc:19927): GLib-GObject-CRITICAL **: 10:46:26.793: g_object_unref: assertion 'G_IS_OBJECT (object)' failed

This patch fixes it.

Signed-off-by: Wook Song <wook16.song@samsung.com>

DataRepo/Src: Correct typos

This is a trivial patch that corrects typos. It would be better to
revise the texts in the file later.

Signed-off-by: Wook Song <wook16.song@samsung.com>

DataRepo/Src: Get the framerate only if the data have it

This patch fixes the bug that tries to get the 'framerate' value from
the caps of any data source. Note that there is no 'framerate' field in
GstAudioInfo.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] Fix memory leak when finalize edge-src/sink

 Free edge-src and sink variable memory when call
 finalize method to clear GstEdgeSink and Source memory

Signed-off-by: linuxias <linuxias@gmail.com>

[Edge] Change type casting to GST macro

 - An explicit type casting technique is used to
   safely and clearly convert the type using a GST macro.

Signed-off-by: seungha son <linuxias@gmail.com>

[doc] fix broken link in github.io

This patch fixes broken link in github.io.
github.com uses .md file and github.io uses .html file for link.
So conversion is required.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[Release] start impl for next release

Update version, start implementation for next release.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

test: tensor_filter/tflite2 correct postfix

Negative test cases require _n postfix for the test infrastucture
to recognize them. The new test cases with property config forgot
to add such postfix properly.

This fixes test case infra regression with #4262

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_filter] Add tensor filter config property

 tensor filter configuration is very complex, so when you set filter,
 property settings become longer and more complicated, making it
 difficult to find them at once even if human errors occur.

 If config is used, readability can be increased and human errors
 can be reduced due to organized properties.

Signed-off-by: linuxias <linuxias@gmail.com>

Meson: Append force option to 'ln' creating python sub-plugin

Since the ln command returns an error when the target already exists,
'meson build --reconfigure' fails as follows:

meson.build:746:4: ERROR: Command "/usr/bin/ln -s nnstreamer/build/ext/nnstreamer/extra/nnstreamer_python3.so
    nnstreamer/build/ext/nnstreamer/extra/nnstreamer_python.so" failed with status 1.

To fix it, this patch appends the -f, (--force) option to the ln command
that creates a soft link file for the python3 sub-plugin.

Signed-off-by: Wook Song <wook16.song@samsung.com>