build: update header path

Fix fatal error: asm-arm/hwcap.h: No such file or directory

Change-Id: I289f390f497491bc63d527ddeaadbd87c589ffdd
Signed-off-by: Dongkyun Son <dongkyun.s@samsung.com>

github-action: rebuild only if it's required

This adds a workflow routine that checks if rebuild is needed.
Then, if there is no changes in source code, skip rebuilding

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

GitHub/Workflows: Add an action to check C++ source file format

This patch adds a GitHub Action workflow to check C++ source file
format.

Signed-off-by: Wook Song <wook16.song@samsung.com>
[Imported from deviceMLOps.MLAgent]
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action: do not run static-checks on deleted files.

The git-changed files may include deleted files.
Do not run static-cchecks on deletec files.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: nondeterministic unit test error.

Due to multithread nondeterminism, we get
occasional unit test error from the "new_data_cb"
callback.

Create a lock and make data local to the function.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter] remove space of model file

To prevent not-found error, remove space of model path.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

actions: add static checks

Add static checkers & verifiers to github-actions.
Initially, clang-format for C++ files and file size checker
are migrated from TAOS-CI.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/risc-v test update

Use dockerfile of nnstreamer's fork designed for nnstreamer packages.
Enable gtest, too.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[fix/svace] fix svace issue

Fix covertiy and SVACE issue
- model_path isn't initialized. fixed it.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[add/onnxruntime] Update onnxruntime_support on

add true default onnxruntime option for Tizen releases

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[tensor_trainer] Move the function of checking invalid parameters

- Move gst_tensor_trainer_check_invalid_param to enable setting properties in PAUSED states

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[CodeClean] util to get list size

Code clean, fix indent and util function to get list size.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/ArmNN] fix mem leak

Fix mem leak, free model path in destructor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Let meson check API version of SNPE

- Let meson.build check SNPE API version.
- Added compile flag `SNPE_VERSION_MAJOR` would be used in future commits.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter] Rename `tensor_filter_snpe.cc` to `tensor_filter_snpe_v1.cc`

- Current source code targets SNPE version 1.
- Future commits will add source code targets SNPE version 2.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tests] Add SSAT test for padding mode in tensor_transform

This patch adds SSAT test for padding mode in tensor_transform.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[transform] Add tensor padding mode in tensor_transform

This patch adds tensor padding mode in tensor_transform.
tensor padding has options like this.
left, right, top, bottom, front, back, type (NCHW or NHWC).

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[common] Move enum tensor_layout

This patch moves tensor_layout enum to tensor_typedef.
tensor_layout can be used in other elements.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[trivial] Fix multiline comments to meet doxygen requiremnent

- Fix multiline comments in unittest_mlagent.cc to satisfy CI

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[mlagent] Let `mlagent_get_model_path_from` returns uri in fallback

- Let the function returns properly allocated gchar* in fallback case.
- Fix memleak (g_strfreev).
- Fix memleak in a testcase.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add a missing header in mock_mlagent.h

- Add a missing header <utility> in mock_mlagent.h
- It declares `std::exchange`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix/onnxruntime-filter] fixed tensor with negative value in shape

Some onnx models had free dimensions for batch. ex) [None,3,720,720]
It fixed that creating tensor with negative value in shape '''Ort::Value''' is treated  as 1.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[Py/CodeClean] pylock after checking ptr

Code clean, apply gil after checking null ptr.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary BuildRequires

- The latest tflite2 tizen package has its own flatbuffers header
  internally. Let's remove the `BuildRequires: flatbuffers-debvel`
- Let meson check the header when build_platform is not tizen

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] fix library name for nns internal

nnstreamer-internal pkg requires nns-single library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Centralize python interpreter init/fini for subplugins

Python subplugins of decoder, converter, filter should
share the init/fini status.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter/python3: revise GIL access.

Control GIL at C callbacks.
Control mutex at C++ class.
As in decoder/converter changes.
This is the last step before the final step for #3834

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

converter::python make them thread safe with GIL

Apply GIL control to converter::python3 as in we do with filter::python3.
Fixes converter part of #3834
Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean/grpc] clearly define release function

The type of data pushed into queue is gst-buffer.
Clearly set the release function when calling free.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent and codestyle

Trivial, fix indent and codestyle for line comment.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Halt meson setup when NOT-GCC is provided for pytorch subplugin

- Halt meson setup procedure when NOT-GCC is given and pytorch-support
  is enabled. Rather than warning and go.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] header file for devel package

1. move util for trainer (single-devel > devel)
2. update library (link to nns-single, internal devel package)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Dist/Tizen: Add an option to control MLAgent support

This patch adds an option for MLAgent support control to the Tizen RPM
spec file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Add unit test cases for parsing MLAgent URIs

This patch adds test cases for unit testing of parsing the MLAgent URIs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Implement the JSON parsing logic to get model's path

This patch adds the logic to parse the C-style stringified JSON data
gathered from the ML Agent in order to convert the given URI to the
model's path.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Do not use g_autoptr for a const pointer

This is a trivial bug fix that removes the uneccessary attribute,
g_autofree, for the c string gathered from GObject, which is a const
pointer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Use a proper data type argument for ml_agent_model_get

This patch is a trivial bug fix that changes the data type of an
argument for ml_agent_model_get.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[build] Let meson check ncnn pkg-config

- Let meson check ncnn pc file first, and do fallback check then.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build/TF-lite-custom] gen shared lib in build dir

Code clean, generate tflite-custom library in build directory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Remove flatbuf-python dependency

Remove flatbuf-python dependency from all Tizen profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Protobuf] missing tensor type

Add missing tensor type 'float16' when generating protobuf and flatbuf code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Edge] check nns-edge dependency

Code clean, use pkgconfig to check nnstreamer-edge dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Ubuntu: clean up control file.

We have multiple control files for different distros.
Clean up ubuntu-ppa control file.

Reported by Q2 of #4357
Fixes the first half of #4358

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] dependency to gstreamer

Remove unnecessary dependency of gstreamer when building subplugins.
(e.g., we should support filter-subplugin for single-shot, without gst.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] fix typo

Trivial, update docs and lib name.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Update code based on feedback

Incorporate the feedback given from the code review process.

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

Add documention for the ncnn subplugin

Update usage examples according to nnstreamer-example

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Fix ncnn unit test error

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Add unit test cases

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

WIP ncnn unit test

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Fix compilation error when vulkan is disabled

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add options for the ncnn subplugin

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add main ncnn inference code

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add ncnn subplugin skeleton code

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

[nnfw] Check NNFW_MAX_RANK in nnfw filter

This patch adds to check NNFW_MAX_RANK in nnfw filter.
If tensor info's rank is larger than NNFW_MAX_RANK and min_rank is smaller, use min_rank instead.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

decoder::python make them thread safe with GIL.

Apply GIL control to decoder::python3 as in we do with filter::python3.

Fixes decoder part of #3834

Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add SSAT to RISC-V github-action

Get SSAT and build SSAT for RISC-V
Then, Run!

@TODO: SSAT TC fails in RISC-V.
   Either fix failed cases or let it ignore in RISC-V build.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter::python3: do not break converter/decoder

A python-global reference counter is required for py-finalize.
This is workaround before applying such a global reference counter.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_transform] Fix confusing usage of transpose

- Correct usage is `... option=1:2:0:3` when a user want to change tensor
  layout NHWC into NCHW.
- Fix document abuout it.
- Fix incorrect usage in a SSAT test.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, prevent index error case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Remove the MOBILE and WEARABLE tags in header file

Since both mobile and wearable profiles in Tizen project are removed,
related tags also should be removed. This patch removes them at Tizen
PM's request.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[build] Check flatbuffers header files before build tflite subplugin

- TFLite API requires flatbuffers header. Let meson check required header
- Add `BuildRequires` flatbuffers-devel explicitly in spec

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Suppress valgrind errors due to system libraries

Added a valgrind-suppression configuration that ignores Valgrind errors from:
- Python runtime
- Between glib/gstreamer
- Not freeing memory allocated by gstreamer/gobject class init.

This works with SSAT 1.3.0+.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github action: add tests of valgrind, gtest, ssat.

Add test runs for github-action - Ubuntu clean build.
However, do not block PRs for valgrind errors until
we get most valgrind errors fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/TF-lite] fill 1 when changing input dimension

After implementing 0-init dims, tf-lite subplugin fills zero when changing input dimension.
Fill 1 if given dimension is 0 dim value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check tensor dim to append previous caps

Prevent appending same caps if tensor dimension has min rank 4.
(e.g., given dim is 1001:1, previous caps with rank 4 is unnecessary.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] condition to update dimension

For caps negotiation, compare tensor dimension if caps is tensor stream and already configured.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[QueryClient] handle tensor buffer

1. Decrease the ref count of incoming buffer if an error occurs.
2. Check the number of requested buffer before creating edge-data handle, and try to get the output from query-server.
3. Append gst-buffer using util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Set cpp_std=c++17 (changed from c++14)

- Recent neural network frameworks needs c++17 standards to use its APIs
- Let nnstreamer be built with c++17.
- Add a Wno flag to snpe filter.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

RISCV/lua: disable an exception handling test case

Somehow, in Ubuntu 20.04 filter::lua@RISCV cannot handle
exceptions as x64/aarch64 handles.

Issue #4342 will track this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Configure unit test environments

Unit test requires a few more configurations for plugins.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/riscv64: update build name

The build name was incorrect. It's Ubuntu now!

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/onnxruntime] Add unit tests and ssat tests for ONNX Runtime

 - Add gtest based unit test for ONNX Runtime
 - Add SSAT test cases for ONNX Runtime tensor filter subplugin

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Filter/onnxruntime] Add filter subplugin for ONNX Runtime

 - Add onnxruntime filter with ONNX runtime
 - To build ONNX Runtime: https://onnxruntime.ai/

TODO:
 - Only supports CPU. GPU and oter hardware support is NYI.
 - Only supports float32 with input/output. Other types are NYI.

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Doc] remove unnecessary lines from ml-api

Code clean, now we do not define data structure in ML API repo and use common functions of nnstreamer.
Remove unnecessary lines defined in api repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Modify description of model-load-path

Change to 'pre-trained' instead of 'existing' expression

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Transform] available caps without peer

tensor-transform cannot determine the caps, this element can set out-caps by using incoming caps.
Remove unnecessary query for peer caps and update types of out-caps if input has tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[datareposrc] Bugfix: Fixed removing JSON file before unittest

- The Filename is changed for each TC because sometimes the JSON file of
  unittest(fps30ReadFlexibleTensors) is deleted by g_remove() in the previous unittest

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[trivial] Fix some typos

- Fix some typos in some old source code.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[build] Enable clang with some deps

- Fix compile error with clang

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] macro for max number of tensors

Change definition for the max number of tensors (256), and update related code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[doc] Fix outdated urls

- Fix outdated urls for Tizen releases.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Test] tensorflow-lite version in testcase

Fix version of tensorflow-lite.
Both version 2.x and 1.x can be used in testcase if tensor-filter property framework is tensorflow-lite.
Default version is v2.x, and it has higher priority.

Also, added minor patch to fix indent.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Reviewers] update reviewers

Update reviewers list in nnstreamer repo.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary compile args for SNPE sub-plugin

- Remove those args thus it's not needed with recent snpe sdk.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean/Element] util function to handle tensors

Code clean, use common util function to handle tensor information and memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/CodeClean] update description

Code clean, update doc and API description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] Add tensor query test for drop prop

 - Add tensor query test for drop prop.
 - Add framerate for tensor query server.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Query] Add drop prop to query client

Currently, the query client sends all input buffers to the query server.
If the processing speed of the server is slower than the client,
The result time of the server is gradually different from the input time.
To prevent this, the server processes only two buffers, and drop the remaining input buffers.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Subplugin/flatbuf/protobuf] util to handle tensor data

Use common util function to handle tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Common/API: Introduce g_auto for automatic memory cleaning of "gchar *"

This patch introduces g_autofree and g_auto for automatic memory
cleaning of "gchar *" and "gchar **", respectively. Note that "GStrv" is
a typedef alias for "gchar **".

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] util to handle tensor info

Code clean, fix indent and use util function if current caps is tensor stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/CodeClean] util to append tensors

Code clean, remove duplicated code and use util function to append tensor memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo/CodeClean] parse gst-caps

Code clean,
- reduce function call, parse caps and update stream type.
- update log message.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Edge] Remove re-connect from nnstreamer element

 - Since the reconnection has been changed to be done inside the nns-edge, nns_edge_connect for reconnection is deleted from the nnstreamer element.
 - Add state change function and set `playing` prop.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Common] init after free

Set default value after releasing tensor information struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] Typecast using G_TENSOR_FILTER_SINGLE_PRIV macro

 Changed to use a macro when converting a pointer to the GstTensorFilterSinglePrivate type.
 Through this, the type conversion method is unified in other functions to maintain
 consistency and ensure stability.

Signed-off-by: linuxias <linuxias@gmail.com>

[Test/CodeClean] macro to handle tensor info

Code clean, use valid macro in test.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Element/gprc] release tensor-config struct

Release tensor-config struct when finalizing the element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[action] Change gbs cache timing

- Let action cache gbs every morning weekday.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>