[Query] util function using integer id

To prevent double free case, remove query handle and use integer id.
Also, add util function to hide edge handle in query elements and fix null ptr case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Query] Release edge handle when stopping the playing

Problem: When state changes from PAUSED to NULL,the tensor_query_serversrc cannot switch to NULL state because it keeps waiting for data pop.

Solution: Change the creation and destruction of server data and edge handle to be managed according to the state.

 READY->PAUSED: Create query server common data
 PAUSED->PLAYING: Create nns-edge handle
 PLAYING->PAUSED: Rlease nns-edge handle
 PAUSED->READY: Descruct qeury server common data

Releated issue: https://github.com/nnstreamer/api/issues/487

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Edge/CodeClean] remove unnecessary connection timeout

Fix svace issue, remove unnecessary code to check connection timeout.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Add condition to stop model training

- When a request to stop model training is received,
  if it has already been completed, it is ignored

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Tizen] Fix gcov build error

Due to the lcov 2.0 upgrade, the warning is changed to error so the gcov build fails.
Ignore this case. (Tizen PM guide)

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

meson: explicit 'enabled' should spit errors if not found

If -Dsupport-ncnn=enabled is given and ncnn is not found,
an error should be generated by meson.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

decoder/direct_video: detect element size mismatch

Return error with explicit error message (GST_ERROR) if
the element size mismatches.

For example, float32 tensor stream cannot be converted
to RGB video stream without tensor_transform.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[AITT] Skip AITT test

Skip AITT gtest and ssat until aitt-ses is available.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

Filter/MLAgent: Update build dependency on MLOps Agent

This patch updates build dependency on MLOps Agent. Note that MLAgent
has been renamed to MLOps Agent and provided from a new repository
separated from the API repository.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[trivial] Fix bogus date in chagnelog

- Fix rpmbuild warning about wrong date

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] set null after free

Clearly set null after releasing the name in tensor-info struct.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] missing lock

Fix svace issues, add missing lock.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build/debian] add dependency to onnxruntime

- add new pkg for onnxruntime in debian build

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[protobuf] Fix memory leak in nnstreamer_protobuf

- Make GstMemory with properly set GDestroyNotify func

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter] Fix memory leak in reload model

- Fix memory leak when reload tflite model

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix] Resolve memory leak in tensor_if

- Free g_list and GValue properly.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Freeing memory during unittests

- Unref memory properly used in unittests.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix] Free option context in gtest

- Call g_option_context_free in unittest_latency

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[spec] Suppress ORC log level

- Suppress ORC logs as showing WARNING or higher logs to reduce too many
  them during gbs unittests.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

test/datareposinK: timing error in test case

Occasionally, in github-action CI, datareposink.writeFlexibleTensors_n
fails due to synchronization errors:

```
[ RUN      ] datareposink.writeFlexibleTensors_n
../tests/nnstreamer_datarepo/unittest_datareposink.cc:570: Failure
Expected: (file_info) != (nullptr), actual: NULL vs (nullptr)
[  FAILED  ] datareposink.writeFlexibleTensors_n (173 ms)
```

It happens when the pipeline is set NULL before the file 'flexible.data'
is writtn within the pipeline.
Allow some time (0.1s) before setting it NULL.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[region] Fix memory leak in tensor_region

- mem argument of `gst_tensor_meta_info_append_header` should be freed.
- Properly free old memory after the call and replace the buffer with
  new memory

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Fix mem leak in tflite unittest

- Fix memory leak by unref

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Fix mem leak in extra tensors

- Extra tensor names stored in GstMemory leaks.
- Let the extra tensor do not store names.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

github-action: indent style error --> warning

Indent style error is set down to warning.
Until we have ZERO indent style error in overall,
let's keep them warning.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[mlagent] Fix misspelling variable naming and log

 - change misspelling 'stringied' to 'stringfied'

Signed-off-by: linuxias <linuxias@gmail.com>

github-action: import all TAOS-CI post-build

- gbs build for x64, x86, arm32, arm64
- pdebuild for { x64, arm64 } x { 22.04, 20.04 }
- yocto build w/ eSDK (Yocto 4.0.15)
- android build w/ nttld/setup-ndk

to enable such github actions,
- android / jni build script fix

and, drop TAOS-CI. (all imported!)

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[common] Fix mem leak in gst_tensor_buffer_append_memory

- last_memory should be released before calling
  `gst_buffer_replace_memory`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

actions: add sloccount, prohibited-words, signed-off-by, ...

The following TAOS-CI pr-prebuild checks are imported
- sloccount
- prohibited words
- signed off by
- shellcheck
- flawfinder
- coverity

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[test] Fix snpe filter test to support two API versions

- Add dlc model files for SNPE2.
- Rename SNPE1 model files.
- Fix unittest to set proper model files.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter] Add SNPE filter supports API ver 2

- Add a SNPE filter source `tensor_filter_snpe.cc` to support SNPE API version 2
  - It utilizes new C APIs.
- Let meson decide cpp source file to compile by checking snpe_api_version

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

actions: add cppcheck, doxygen-build, executable, ...

The following TAOS-CI pr-prebuild checks are imported
- cppcheck
- doxygen-build
- executable
- hardcoded-path
- misspelling
- nobody
- timestamp

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

actions: static/rpm-spec check added

RPM-SPEC runs rpmlint if .spec file is updated.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

actions: static/doxygen-tag style clean

Make the code style consistant with other recent checks.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

actions: more static checks from TAOC-CI

- indent
- newline
- pylint

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean] fix svace issue

1. change data type to handle gst-memory.
2. use util function to get nth tensor info.
3. add null-init in filter-edgetpu.
4. fix use-after-free case when parsing accel in tensor-filter.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

github-action: rebuild only if it's required

This adds a workflow routine that checks if rebuild is needed.
Then, if there is no changes in source code, skip rebuilding

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

GitHub/Workflows: Add an action to check C++ source file format

This patch adds a GitHub Action workflow to check C++ source file
format.

Signed-off-by: Wook Song <wook16.song@samsung.com>
[Imported from deviceMLOps.MLAgent]
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action: do not run static-checks on deleted files.

The git-changed files may include deleted files.
Do not run static-cchecks on deletec files.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: nondeterministic unit test error.

Due to multithread nondeterminism, we get
occasional unit test error from the "new_data_cb"
callback.

Create a lock and make data local to the function.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter] remove space of model file

To prevent not-found error, remove space of model path.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

actions: add static checks

Add static checkers & verifiers to github-actions.
Initially, clang-format for C++ files and file size checker
are migrated from TAOS-CI.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github-action/risc-v test update

Use dockerfile of nnstreamer's fork designed for nnstreamer packages.
Enable gtest, too.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[fix/svace] fix svace issue

Fix covertiy and SVACE issue
- model_path isn't initialized. fixed it.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[add/onnxruntime] Update onnxruntime_support on

add true default onnxruntime option for Tizen releases

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[tensor_trainer] Move the function of checking invalid parameters

- Move gst_tensor_trainer_check_invalid_param to enable setting properties in PAUSED states

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[CodeClean] util to get list size

Code clean, fix indent and util function to get list size.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/ArmNN] fix mem leak

Fix mem leak, free model path in destructor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Let meson check API version of SNPE

- Let meson.build check SNPE API version.
- Added compile flag `SNPE_VERSION_MAJOR` would be used in future commits.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter] Rename `tensor_filter_snpe.cc` to `tensor_filter_snpe_v1.cc`

- Current source code targets SNPE version 1.
- Future commits will add source code targets SNPE version 2.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tests] Add SSAT test for padding mode in tensor_transform

This patch adds SSAT test for padding mode in tensor_transform.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[transform] Add tensor padding mode in tensor_transform

This patch adds tensor padding mode in tensor_transform.
tensor padding has options like this.
left, right, top, bottom, front, back, type (NCHW or NHWC).

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[common] Move enum tensor_layout

This patch moves tensor_layout enum to tensor_typedef.
tensor_layout can be used in other elements.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[trivial] Fix multiline comments to meet doxygen requiremnent

- Fix multiline comments in unittest_mlagent.cc to satisfy CI

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[mlagent] Let `mlagent_get_model_path_from` returns uri in fallback

- Let the function returns properly allocated gchar* in fallback case.
- Fix memleak (g_strfreev).
- Fix memleak in a testcase.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test] Add a missing header in mock_mlagent.h

- Add a missing header <utility> in mock_mlagent.h
- It declares `std::exchange`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix/onnxruntime-filter] fixed tensor with negative value in shape

Some onnx models had free dimensions for batch. ex) [None,3,720,720]
It fixed that creating tensor with negative value in shape '''Ort::Value''' is treated  as 1.

Signed-off-by: Suyeon Kim <suyeon5.kim@samsung.com>

[Py/CodeClean] pylock after checking ptr

Code clean, apply gil after checking null ptr.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Remove unnecessary BuildRequires

- The latest tflite2 tizen package has its own flatbuffers header
  internally. Let's remove the `BuildRequires: flatbuffers-debvel`
- Let meson check the header when build_platform is not tizen

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] fix library name for nns internal

nnstreamer-internal pkg requires nns-single library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Centralize python interpreter init/fini for subplugins

Python subplugins of decoder, converter, filter should
share the init/fini status.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter/python3: revise GIL access.

Control GIL at C callbacks.
Control mutex at C++ class.
As in decoder/converter changes.
This is the last step before the final step for #3834

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

converter::python make them thread safe with GIL

Apply GIL control to converter::python3 as in we do with filter::python3.
Fixes converter part of #3834
Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean/grpc] clearly define release function

The type of data pushed into queue is gst-buffer.
Clearly set the release function when calling free.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent and codestyle

Trivial, fix indent and codestyle for line comment.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Halt meson setup when NOT-GCC is provided for pytorch subplugin

- Halt meson setup procedure when NOT-GCC is given and pytorch-support
  is enabled. Rather than warning and go.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Pkg] header file for devel package

1. move util for trainer (single-devel > devel)
2. update library (link to nns-single, internal devel package)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Dist/Tizen: Add an option to control MLAgent support

This patch adds an option for MLAgent support control to the Tizen RPM
spec file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Add unit test cases for parsing MLAgent URIs

This patch adds test cases for unit testing of parsing the MLAgent URIs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Implement the JSON parsing logic to get model's path

This patch adds the logic to parse the C-style stringified JSON data
gathered from the ML Agent in order to convert the given URI to the
model's path.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Do not use g_autoptr for a const pointer

This is a trivial bug fix that removes the uneccessary attribute,
g_autofree, for the c string gathered from GObject, which is a const
pointer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Filter/MLAgent: Use a proper data type argument for ml_agent_model_get

This patch is a trivial bug fix that changes the data type of an
argument for ml_agent_model_get.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[build] Let meson check ncnn pkg-config

- Let meson check ncnn pc file first, and do fallback check then.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Build/TF-lite-custom] gen shared lib in build dir

Code clean, generate tflite-custom library in build directory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Remove flatbuf-python dependency

Remove flatbuf-python dependency from all Tizen profile.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Protobuf] missing tensor type

Add missing tensor type 'float16' when generating protobuf and flatbuf code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Edge] check nns-edge dependency

Code clean, use pkgconfig to check nnstreamer-edge dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Ubuntu: clean up control file.

We have multiple control files for different distros.
Clean up ubuntu-ppa control file.

Reported by Q2 of #4357
Fixes the first half of #4358

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] dependency to gstreamer

Remove unnecessary dependency of gstreamer when building subplugins.
(e.g., we should support filter-subplugin for single-shot, without gst.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Doc] fix typo

Trivial, update docs and lib name.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Update code based on feedback

Incorporate the feedback given from the code review process.

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

Add documention for the ncnn subplugin

Update usage examples according to nnstreamer-example

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Fix ncnn unit test error

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Add unit test cases

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

WIP ncnn unit test

Signed-off-by: Kijun Shin <sharaelong.shin@gmail.com>

Fix compilation error when vulkan is disabled

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add options for the ncnn subplugin

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add main ncnn inference code

Signed-off-by: chosanglyul <chosanglyul@gmail.com>

Add ncnn subplugin skeleton code

Signed-off-by: Sungbin Jo <goranmoomin@daum.net>

[nnfw] Check NNFW_MAX_RANK in nnfw filter

This patch adds to check NNFW_MAX_RANK in nnfw filter.
If tensor info's rank is larger than NNFW_MAX_RANK and min_rank is smaller, use min_rank instead.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

decoder::python make them thread safe with GIL.

Apply GIL control to decoder::python3 as in we do with filter::python3.

Fixes decoder part of #3834

Overrides #3872

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add SSAT to RISC-V github-action

Get SSAT and build SSAT for RISC-V
Then, Run!

@TODO: SSAT TC fails in RISC-V.
   Either fix failed cases or let it ignore in RISC-V build.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter::python3: do not break converter/decoder

A python-global reference counter is required for py-finalize.
This is workaround before applying such a global reference counter.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[tensor_transform] Fix confusing usage of transpose

- Correct usage is `... option=1:2:0:3` when a user want to change tensor
  layout NHWC into NCHW.
- Fix document abuout it.
- Fix incorrect usage in a SSAT test.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[CodeClean] fix svace issue

Fix svace issue, prevent index error case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Remove the MOBILE and WEARABLE tags in header file

Since both mobile and wearable profiles in Tizen project are removed,
related tags also should be removed. This patch removes them at Tizen
PM's request.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[build] Check flatbuffers header files before build tflite subplugin

- TFLite API requires flatbuffers header. Let meson check required header
- Add `BuildRequires` flatbuffers-devel explicitly in spec

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Suppress valgrind errors due to system libraries

Added a valgrind-suppression configuration that ignores Valgrind errors from:
- Python runtime
- Between glib/gstreamer
- Not freeing memory allocated by gstreamer/gobject class init.

This works with SSAT 1.3.0+.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

github action: add tests of valgrind, gtest, ssat.

Add test runs for github-action - Ubuntu clean build.
However, do not block PRs for valgrind errors until
we get most valgrind errors fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/TF-lite] fill 1 when changing input dimension

After implementing 0-init dims, tf-lite subplugin fills zero when changing input dimension.
Fill 1 if given dimension is 0 dim value.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check tensor dim to append previous caps

Prevent appending same caps if tensor dimension has min rank 4.
(e.g., given dim is 1001:1, previous caps with rank 4 is unnecessary.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>