[Build/TF-lite-custom] gen shared lib in build dir

Code clean, generate tflite-custom library in build directory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Remove flatbuf-python dependency

Remove flatbuf-python dependency from all Tizen profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Protobuf] missing tensor type

Add missing tensor type 'float16' when generating protobuf and flatbuf code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Edge] check nns-edge dependency

Code clean, use pkgconfig to check nnstreamer-edge dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Ubuntu: clean up control file.

We have multiple control files for different distros.
Clean up ubuntu-ppa control file.

Reported by Q2 of #4357
Fixes the first half of #4358

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] dependency to gstreamer

Remove unnecessary dependency of gstreamer when building subplugins.
(e.g., we should support filter-subplugin for single-shot, without gst.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] fix typo

Trivial, update docs and lib name.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Update code based on feedback

Incorporate the feedback given from the code review process.

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

Add documention for the ncnn subplugin

Update usage examples according to nnstreamer-example

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Fix ncnn unit test error

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Add unit test cases

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

WIP ncnn unit test

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Fix compilation error when vulkan is disabled

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add options for the ncnn subplugin

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add main ncnn inference code

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add ncnn subplugin skeleton code

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

[nnfw] Check NNFW_MAX_RANK in nnfw filter

This patch adds to check NNFW_MAX_RANK in nnfw filter.
If tensor info's rank is larger than NNFW_MAX_RANK and min_rank is smaller, use min_rank instead.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

decoder::python make them thread safe with GIL.

Apply GIL control to decoder::python3 as in we do with filter::python3.

Fixes decoder part of #3834

Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add SSAT to RISC-V github-action

Get SSAT and build SSAT for RISC-V
Then, Run!

@TODO: SSAT TC fails in RISC-V.
   Either fix failed cases or let it ignore in RISC-V build.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter::python3: do not break converter/decoder

A python-global reference counter is required for py-finalize.
This is workaround before applying such a global reference counter.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_transform] Fix confusing usage of transpose

- Correct usage is `... option=1:2:0:3` when a user want to change tensor
  layout NHWC into NCHW.
- Fix document abuout it.
- Fix incorrect usage in a SSAT test.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, prevent index error case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Remove the MOBILE and WEARABLE tags in header file

Since both mobile and wearable profiles in Tizen project are removed,
related tags also should be removed. This patch removes them at Tizen
PM's request.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[build] Check flatbuffers header files before build tflite subplugin

- TFLite API requires flatbuffers header. Let meson check required header
- Add `BuildRequires` flatbuffers-devel explicitly in spec

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Suppress valgrind errors due to system libraries

Added a valgrind-suppression configuration that ignores Valgrind errors from:
- Python runtime
- Between glib/gstreamer
- Not freeing memory allocated by gstreamer/gobject class init.

This works with SSAT 1.3.0+.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github action: add tests of valgrind, gtest, ssat.

Add test runs for github-action - Ubuntu clean build.
However, do not block PRs for valgrind errors until
we get most valgrind errors fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/TF-lite] fill 1 when changing input dimension

After implementing 0-init dims, tf-lite subplugin fills zero when changing input dimension.
Fill 1 if given dimension is 0 dim value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check tensor dim to append previous caps

Prevent appending same caps if tensor dimension has min rank 4.
(e.g., given dim is 1001:1, previous caps with rank 4 is unnecessary.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] condition to update dimension

For caps negotiation, compare tensor dimension if caps is tensor stream and already configured.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[QueryClient] handle tensor buffer

1. Decrease the ref count of incoming buffer if an error occurs.
2. Check the number of requested buffer before creating edge-data handle, and try to get the output from query-server.
3. Append gst-buffer using util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Set cpp_std=c++17 (changed from c++14)

- Recent neural network frameworks needs c++17 standards to use its APIs
- Let nnstreamer be built with c++17.
- Add a Wno flag to snpe filter.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

RISCV/lua: disable an exception handling test case

Somehow, in Ubuntu 20.04 filter::lua@RISCV cannot handle
exceptions as x64/aarch64 handles.

Issue #4342 will track this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Configure unit test environments

Unit test requires a few more configurations for plugins.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/riscv64: update build name

The build name was incorrect. It's Ubuntu now!

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/onnxruntime] Add unit tests and ssat tests for ONNX Runtime

 - Add gtest based unit test for ONNX Runtime
 - Add SSAT test cases for ONNX Runtime tensor filter subplugin

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Filter/onnxruntime] Add filter subplugin for ONNX Runtime

 - Add onnxruntime filter with ONNX runtime
 - To build ONNX Runtime: https://onnxruntime.ai/

TODO:
 - Only supports CPU. GPU and oter hardware support is NYI.
 - Only supports float32 with input/output. Other types are NYI.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Doc] remove unnecessary lines from ml-api

Code clean, now we do not define data structure in ML API repo and use common functions of nnstreamer.
Remove unnecessary lines defined in api repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Modify description of model-load-path

Change to 'pre-trained' instead of 'existing' expression

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Transform] available caps without peer

tensor-transform cannot determine the caps, this element can set out-caps by using incoming caps.
Remove unnecessary query for peer caps and update types of out-caps if input has tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[datareposrc] Bugfix: Fixed removing JSON file before unittest

- The Filename is changed for each TC because sometimes the JSON file of
  unittest(fps30ReadFlexibleTensors) is deleted by g_remove() in the previous unittest

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[trivial] Fix some typos

- Fix some typos in some old source code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Enable clang with some deps

- Fix compile error with clang

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] macro for max number of tensors

Change definition for the max number of tensors (256), and update related code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[doc] Fix outdated urls

- Fix outdated urls for Tizen releases.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] tensorflow-lite version in testcase

Fix version of tensorflow-lite.
Both version 2.x and 1.x can be used in testcase if tensor-filter property framework is tensorflow-lite.
Default version is v2.x, and it has higher priority.

Also, added minor patch to fix indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Reviewers] update reviewers

Update reviewers list in nnstreamer repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary compile args for SNPE sub-plugin

- Remove those args thus it's not needed with recent snpe sdk.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean/Element] util function to handle tensors

Code clean, use common util function to handle tensor information and memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/CodeClean] update description

Code clean, update doc and API description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] Add tensor query test for drop prop

 - Add tensor query test for drop prop.
 - Add framerate for tensor query server.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Query] Add drop prop to query client

Currently, the query client sends all input buffers to the query server.
If the processing speed of the server is slower than the client,
The result time of the server is gradually different from the input time.
To prevent this, the server processes only two buffers, and drop the remaining input buffers.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Subplugin/flatbuf/protobuf] util to handle tensor data

Use common util function to handle tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Common/API: Introduce g_auto for automatic memory cleaning of "gchar *"

This patch introduces g_autofree and g_auto for automatic memory
cleaning of "gchar *" and "gchar **", respectively. Note that "GStrv" is
a typedef alias for "gchar **".

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] util to handle tensor info

Code clean, fix indent and use util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/CodeClean] util to append tensors

Code clean, remove duplicated code and use util function to append tensor memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo/CodeClean] parse gst-caps

Code clean,
- reduce function call, parse caps and update stream type.
- update log message.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Edge] Remove re-connect from nnstreamer element

 - Since the reconnection has been changed to be done inside the nns-edge, nns_edge_connect for reconnection is deleted from the nnstreamer element.
 - Add state change function and set `playing` prop.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Common] init after free

Set default value after releasing tensor information struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] Typecast using G_TENSOR_FILTER_SINGLE_PRIV macro

 Changed to use a macro when converting a pointer to the GstTensorFilterSinglePrivate type.
 Through this, the type conversion method is unified in other functions to maintain
 consistency and ensure stability.

Signed-off-by: linuxias <linuxias@gmail.com>

[Test/CodeClean] macro to handle tensor info

Code clean, use valid macro in test.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Element/gprc] release tensor-config struct

Release tensor-config struct when finalizing the element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Change gbs cache timing

- Let action cache gbs every morning weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder] macro for video formats

Define macro to specify video formats supported in decoder direct-video.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Trivial, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/SensorSrc] fix mem leak case

Code clean, fix mem leak case when failed to add new gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check index to get nth tensor

Code clean, check index to get nth tensor from gst-buffer and remove unnecessary code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] validate tensors info

Validate output tensors info after parsing pyobject.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] fix log util

Update util function to print log message in python module.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Cache gbs once every weekday

- Let the new workflow cache gbs every weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Do not run workflows on every push

- Doing every workflows on each push is not necessary as each
  pull request already checks it.
- Do not run those to save the earth!

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] unref memory when appending tensor buffer

Fix util function to take gst-memory if failed to append it.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] fix mem leak case

Fix mem leak case if failed to append memory into gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Converter/Python] function to handle tensor buffer

Change util function to handle gst-buffer including tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] util to get nth info

Code clean, use util function to handle nth tensor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Gbs build with `_skip_debug_rpm` and `--skip-srcrpm`

- Let gbs build do not make debug rpms and skip srcrpm
- This will save some seconds..

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Let gbs action cache 'GBS-ROOT/local/cache'

- Let github action cache the directory. Speed gbs build up by removing
  package downloads.
- The cache key is the date. The very first run each day will make new
  cache.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

doc: product list updates

We have more products using NNStreamer. Update the list.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

README: add face landmark example

Use the code from https://github.com/songgot/Tizen_IoT_face_landmark
CC: @songgot
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Common] hide old rank limit

Hide old rank limit from header.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Fix meson install and usage

- Let ubuntu build install proper meson and python.
- And use meson commands explicilty rather than use outdated action from
  github marketplace

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Add a gst-launch-script example for audio

- Add a simple audio classification gst-launch example.
- This resolves #3777

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[edge] Deprecate port and host property of edgesrc and update description for port property

- Add a description of deprecated for port and host property of edgesrc.
  In the case of edgesrc, port and host settings are not required.
- Update description of port property of edgesink

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[util] Fix gst_tensors_info_to_string

- Let the method returns string ended with "]" always.
- Let get_dimension_string returns NULL when given dim is filled with 0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Decoder: Add detailed descriptions for the bounding box sub-plugin

In addition to nnstreamer#4284, this patch adds descriptions for the
bounding box sub-plugin options.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Decoder/BoundingBox: Apply gst-indent to the bounding box sub-plugin

This is a trivial patch that applies gst-indent to the bounding box
sub-plugin of Tensor Decoder to keep the constant code style.

Signed-off-by: Wook Song <wook16.song@samsung.com>

decoder: add detailed descriptions for a few subplugins.

As #3903 requests, we need descriptions for subplugin users.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

decoder/filter: more info for gst-inspect.

Show available frameworks / mode with gst-inspect.
This is the first step to address #3903

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[test] Add SSAT testcases for yolo decoders

- Add SSAT TCs for yolov5 and yolov8 decoder.
- Add raw input files and golden result files.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[decoder] Fix track mode bug (wrong struct size)

- Fix wrong size of glib array for distanceArray.
  sizeof (float) -> sizeof (distanceArrayData)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add simple ssat testcase for pose decoder

- Add a simple test for option3 and option4 (increasing line coverage)

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Delete unnecessary empty line

Signed-off-by: seungha son <linuxias@gmail.com>

github-action: ubuntu-llvm/clang build test

Add llvm/clang build test.
Fixes #3979

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Support clang/clang++

Fix clang's complaints.
Addressing #3979

To build w/ LLVM, do
$ CC=clang CXX=clang++ meson ...

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Filter/MLAgent: Replace MLAgentd with MLAgent

Since MLAgentd would not be used interchangeably with MLAgent anymore,
this patch applies those changes.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Apply function name changes in the MLAgent API

This patch applies the changes of function names in the MLAgent API.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[decoder] Let user set yolo decoder parameters

- Let option3 of yolo decoders can handle user provided parameters.
  For yolov5 and yolov8 mode:
    The option3 requires up to 3 numbers, which tell
    - whether the output values are scaled or not
      0: not scaled (default), 1: scaled (e.g., 0.0 ~ 1.0)
    - the threshold of confidence (optional, default set to 0.25)
    - the threshold of IOU (optional, default set to 0.45)
  An example of option3 is "option3=0:0.65:0.6"

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build] allowed element (identity)

Add 'identity' in the list of allowed elements.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

memleak fix: tensor_split forgot to free things.

1. split->tensorseg is not freed when overwritten.
2. tensordim pointers are never freed but new-ed frequently.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter: handle error of convert_to_meta

gst_tensor_info_convert_to_meta may return error
if the configured output tensor is invalid.
Handle the error before feeding it to another function,
that may access uninitialized value.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: don't wait for 10000sec. wait 10sec.

wait_pipeline_process_buffers accepts timeout in ms, not us.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>