[trivial] Fix multiline comments to meet doxygen requiremnent

- Fix multiline comments in unittest_mlagent.cc to satisfy CI

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[mlagent] Let `mlagent_get_model_path_from` returns uri in fallback

- Let the function returns properly allocated gchar* in fallback case.
- Fix memleak (g_strfreev).
- Fix memleak in a testcase.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add a missing header in mock_mlagent.h

- Add a missing header <utility> in mock_mlagent.h
- It declares `std::exchange`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix/onnxruntime-filter] fixed tensor with negative value in shape

Some onnx models had free dimensions for batch. ex) [None,3,720,720]
It fixed that creating tensor with negative value in shape '''Ort::Value''' is treated  as 1.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[Py/CodeClean] pylock after checking ptr

Code clean, apply gil after checking null ptr.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary BuildRequires

- The latest tflite2 tizen package has its own flatbuffers header
  internally. Let's remove the `BuildRequires: flatbuffers-debvel`
- Let meson check the header when build_platform is not tizen

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] fix library name for nns internal

nnstreamer-internal pkg requires nns-single library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Centralize python interpreter init/fini for subplugins

Python subplugins of decoder, converter, filter should
share the init/fini status.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter/python3: revise GIL access.

Control GIL at C callbacks.
Control mutex at C++ class.
As in decoder/converter changes.
This is the last step before the final step for #3834

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

converter::python make them thread safe with GIL

Apply GIL control to converter::python3 as in we do with filter::python3.
Fixes converter part of #3834
Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean/grpc] clearly define release function

The type of data pushed into queue is gst-buffer.
Clearly set the release function when calling free.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent and codestyle

Trivial, fix indent and codestyle for line comment.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Halt meson setup when NOT-GCC is provided for pytorch subplugin

- Halt meson setup procedure when NOT-GCC is given and pytorch-support
  is enabled. Rather than warning and go.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] header file for devel package

1. move util for trainer (single-devel > devel)
2. update library (link to nns-single, internal devel package)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Dist/Tizen: Add an option to control MLAgent support

This patch adds an option for MLAgent support control to the Tizen RPM
spec file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Add unit test cases for parsing MLAgent URIs

This patch adds test cases for unit testing of parsing the MLAgent URIs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Implement the JSON parsing logic to get model's path

This patch adds the logic to parse the C-style stringified JSON data
gathered from the ML Agent in order to convert the given URI to the
model's path.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Do not use g_autoptr for a const pointer

This is a trivial bug fix that removes the uneccessary attribute,
g_autofree, for the c string gathered from GObject, which is a const
pointer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Use a proper data type argument for ml_agent_model_get

This patch is a trivial bug fix that changes the data type of an
argument for ml_agent_model_get.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[build] Let meson check ncnn pkg-config

- Let meson check ncnn pc file first, and do fallback check then.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build/TF-lite-custom] gen shared lib in build dir

Code clean, generate tflite-custom library in build directory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Remove flatbuf-python dependency

Remove flatbuf-python dependency from all Tizen profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Protobuf] missing tensor type

Add missing tensor type 'float16' when generating protobuf and flatbuf code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Edge] check nns-edge dependency

Code clean, use pkgconfig to check nnstreamer-edge dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Ubuntu: clean up control file.

We have multiple control files for different distros.
Clean up ubuntu-ppa control file.

Reported by Q2 of #4357
Fixes the first half of #4358

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] dependency to gstreamer

Remove unnecessary dependency of gstreamer when building subplugins.
(e.g., we should support filter-subplugin for single-shot, without gst.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] fix typo

Trivial, update docs and lib name.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Update code based on feedback

Incorporate the feedback given from the code review process.

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

Add documention for the ncnn subplugin

Update usage examples according to nnstreamer-example

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Fix ncnn unit test error

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Add unit test cases

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

WIP ncnn unit test

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Fix compilation error when vulkan is disabled

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add options for the ncnn subplugin

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add main ncnn inference code

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add ncnn subplugin skeleton code

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

[nnfw] Check NNFW_MAX_RANK in nnfw filter

This patch adds to check NNFW_MAX_RANK in nnfw filter.
If tensor info's rank is larger than NNFW_MAX_RANK and min_rank is smaller, use min_rank instead.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

decoder::python make them thread safe with GIL.

Apply GIL control to decoder::python3 as in we do with filter::python3.

Fixes decoder part of #3834

Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add SSAT to RISC-V github-action

Get SSAT and build SSAT for RISC-V
Then, Run!

@TODO: SSAT TC fails in RISC-V.
   Either fix failed cases or let it ignore in RISC-V build.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter::python3: do not break converter/decoder

A python-global reference counter is required for py-finalize.
This is workaround before applying such a global reference counter.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_transform] Fix confusing usage of transpose

- Correct usage is `... option=1:2:0:3` when a user want to change tensor
  layout NHWC into NCHW.
- Fix document abuout it.
- Fix incorrect usage in a SSAT test.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, prevent index error case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Remove the MOBILE and WEARABLE tags in header file

Since both mobile and wearable profiles in Tizen project are removed,
related tags also should be removed. This patch removes them at Tizen
PM's request.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[build] Check flatbuffers header files before build tflite subplugin

- TFLite API requires flatbuffers header. Let meson check required header
- Add `BuildRequires` flatbuffers-devel explicitly in spec

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Suppress valgrind errors due to system libraries

Added a valgrind-suppression configuration that ignores Valgrind errors from:
- Python runtime
- Between glib/gstreamer
- Not freeing memory allocated by gstreamer/gobject class init.

This works with SSAT 1.3.0+.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github action: add tests of valgrind, gtest, ssat.

Add test runs for github-action - Ubuntu clean build.
However, do not block PRs for valgrind errors until
we get most valgrind errors fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/TF-lite] fill 1 when changing input dimension

After implementing 0-init dims, tf-lite subplugin fills zero when changing input dimension.
Fill 1 if given dimension is 0 dim value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check tensor dim to append previous caps

Prevent appending same caps if tensor dimension has min rank 4.
(e.g., given dim is 1001:1, previous caps with rank 4 is unnecessary.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] condition to update dimension

For caps negotiation, compare tensor dimension if caps is tensor stream and already configured.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[QueryClient] handle tensor buffer

1. Decrease the ref count of incoming buffer if an error occurs.
2. Check the number of requested buffer before creating edge-data handle, and try to get the output from query-server.
3. Append gst-buffer using util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Set cpp_std=c++17 (changed from c++14)

- Recent neural network frameworks needs c++17 standards to use its APIs
- Let nnstreamer be built with c++17.
- Add a Wno flag to snpe filter.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

RISCV/lua: disable an exception handling test case

Somehow, in Ubuntu 20.04 filter::lua@RISCV cannot handle
exceptions as x64/aarch64 handles.

Issue #4342 will track this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Configure unit test environments

Unit test requires a few more configurations for plugins.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/riscv64: update build name

The build name was incorrect. It's Ubuntu now!

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/onnxruntime] Add unit tests and ssat tests for ONNX Runtime

 - Add gtest based unit test for ONNX Runtime
 - Add SSAT test cases for ONNX Runtime tensor filter subplugin

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Filter/onnxruntime] Add filter subplugin for ONNX Runtime

 - Add onnxruntime filter with ONNX runtime
 - To build ONNX Runtime: https://onnxruntime.ai/

TODO:
 - Only supports CPU. GPU and oter hardware support is NYI.
 - Only supports float32 with input/output. Other types are NYI.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Doc] remove unnecessary lines from ml-api

Code clean, now we do not define data structure in ML API repo and use common functions of nnstreamer.
Remove unnecessary lines defined in api repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Modify description of model-load-path

Change to 'pre-trained' instead of 'existing' expression

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Transform] available caps without peer

tensor-transform cannot determine the caps, this element can set out-caps by using incoming caps.
Remove unnecessary query for peer caps and update types of out-caps if input has tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[datareposrc] Bugfix: Fixed removing JSON file before unittest

- The Filename is changed for each TC because sometimes the JSON file of
  unittest(fps30ReadFlexibleTensors) is deleted by g_remove() in the previous unittest

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[trivial] Fix some typos

- Fix some typos in some old source code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Enable clang with some deps

- Fix compile error with clang

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] macro for max number of tensors

Change definition for the max number of tensors (256), and update related code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[doc] Fix outdated urls

- Fix outdated urls for Tizen releases.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] tensorflow-lite version in testcase

Fix version of tensorflow-lite.
Both version 2.x and 1.x can be used in testcase if tensor-filter property framework is tensorflow-lite.
Default version is v2.x, and it has higher priority.

Also, added minor patch to fix indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Reviewers] update reviewers

Update reviewers list in nnstreamer repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary compile args for SNPE sub-plugin

- Remove those args thus it's not needed with recent snpe sdk.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean/Element] util function to handle tensors

Code clean, use common util function to handle tensor information and memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/CodeClean] update description

Code clean, update doc and API description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] Add tensor query test for drop prop

 - Add tensor query test for drop prop.
 - Add framerate for tensor query server.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Query] Add drop prop to query client

Currently, the query client sends all input buffers to the query server.
If the processing speed of the server is slower than the client,
The result time of the server is gradually different from the input time.
To prevent this, the server processes only two buffers, and drop the remaining input buffers.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Subplugin/flatbuf/protobuf] util to handle tensor data

Use common util function to handle tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Common/API: Introduce g_auto for automatic memory cleaning of "gchar *"

This patch introduces g_autofree and g_auto for automatic memory
cleaning of "gchar *" and "gchar **", respectively. Note that "GStrv" is
a typedef alias for "gchar **".

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] util to handle tensor info

Code clean, fix indent and use util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/CodeClean] util to append tensors

Code clean, remove duplicated code and use util function to append tensor memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo/CodeClean] parse gst-caps

Code clean,
- reduce function call, parse caps and update stream type.
- update log message.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Edge] Remove re-connect from nnstreamer element

 - Since the reconnection has been changed to be done inside the nns-edge, nns_edge_connect for reconnection is deleted from the nnstreamer element.
 - Add state change function and set `playing` prop.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Common] init after free

Set default value after releasing tensor information struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] Typecast using G_TENSOR_FILTER_SINGLE_PRIV macro

 Changed to use a macro when converting a pointer to the GstTensorFilterSinglePrivate type.
 Through this, the type conversion method is unified in other functions to maintain
 consistency and ensure stability.

Signed-off-by: linuxias <linuxias@gmail.com>

[Test/CodeClean] macro to handle tensor info

Code clean, use valid macro in test.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Element/gprc] release tensor-config struct

Release tensor-config struct when finalizing the element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Change gbs cache timing

- Let action cache gbs every morning weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder] macro for video formats

Define macro to specify video formats supported in decoder direct-video.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent

Trivial, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/SensorSrc] fix mem leak case

Code clean, fix mem leak case when failed to add new gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check index to get nth tensor

Code clean, check index to get nth tensor from gst-buffer and remove unnecessary code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] validate tensors info

Validate output tensors info after parsing pyobject.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Python] fix log util

Update util function to print log message in python module.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Cache gbs once every weekday

- Let the new workflow cache gbs every weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Do not run workflows on every push

- Doing every workflows on each push is not necessary as each
  pull request already checks it.
- Do not run those to save the earth!

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] unref memory when appending tensor buffer

Fix util function to take gst-memory if failed to append it.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] fix mem leak case

Fix mem leak case if failed to append memory into gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Converter/Python] function to handle tensor buffer

Change util function to handle gst-buffer including tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] util to get nth info

Code clean, use util function to handle nth tensor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Gbs build with `_skip_debug_rpm` and `--skip-srcrpm`

- Let gbs build do not make debug rpms and skip srcrpm
- This will save some seconds..

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[action] Let gbs action cache 'GBS-ROOT/local/cache'

- Let github action cache the directory. Speed gbs build up by removing
  package downloads.
- The cache key is the date. The very first run each day will make new
  cache.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

doc: product list updates

We have more products using NNStreamer. Update the list.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

README: add face landmark example

Use the code from https://github.com/songgot/Tizen_IoT_face_landmark
CC: @songgot
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Common] hide old rank limit

Hide old rank limit from header.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Fix meson install and usage

- Let ubuntu build install proper meson and python.
- And use meson commands explicilty rather than use outdated action from
  github marketplace

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>