[Gst/Edge] Init edgesrc and edgesink

Init skelton of edgesrc and edgesink.

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

[Edge] Update changed flag and API

Update changed flag and API of the nnstreamer-edge
After https://github.com/nnstreamer/nnstreamer-edge/pull/60

Signed-off-by: gichan <gichan2.jang@samsung.com>

[doxygen] add brief tag on refrain_from_heavy_op_on_float16

This patch adds brief tag on function refrain_from_heavy_op_on_float16

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[transform] fix transform transpose rank to 4

This patch fixes transform transpose rank to 4.
Increasing NNS_TENSOR_RANK_LIMIT will affect transform transpose.
It should be fixed to 4 until transform transpose supports rank N.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[query] Fix client_id type to long long in query_serversink

- Fix client_id type to long long in query_serversink.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Query] replace deprecated function

Replace deprecated function of edge library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

github-action/gbs: Tizen build infra update

The build infra has updated and its binary repository URL
has been updated.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[conf] Update gbs.conf to new repos

- Update repo urls to new ones.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Update query test

 - Add timeout option to precent stuck during test.
 - Set random available port for query client.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[CodeClean] coverity issues

Fix coverity issues, remove unnecessary header includes and std-move to mem ptr.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

test:python3 multithreaded python script as a filter (CV2)

With the fear of regressions related with #3822 as
described in #3885, added a test case for multithreaded python
script of CV2.

TODO: add similar cases for converter and decoder
TODO: add negative cases

Fixes #3885

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[query] Add timeout prop for tensor_query_client

- Add timeout prop to decide how much time to wait message from
  query server  after sending buffer
- Default value is 0, no wait.
- Add simple unittests.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Tools/Parser: Silence a warning about using a deprecated directive

This patch fixes the following warning about using a deprecated
directive, '%pure-parser'. Note that '%pure-parser' is deprecated since
Bison 2.3b (bison_min_version defined in meson.build is 2.4).

../tools/development/parser/grammar.y:372.1-12: warning: deprecated directive: ‘%pure-parser’, use ‘%define api.pure’ [-Wdeprecated]
  372 | %pure-parser
      | ^~~~~~~~~~~~
      | %define api.pure
../tools/development/parser/grammar.y: warning: fix-its can be applied.  Rerun with option '--update'. [-Wother]

Signed-off-by: Wook Song <wook16.song@samsung.com>

test:query launch mosquitto for testing

Launch mosquitto with a random port for testing
and terminate it after testing.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Tizen: add mosquitto at build-time for unit testing

Mosquitto is not used for building nnstreamer.
It is used for unit testing; thus, the built binaries
shouldn't have dependencies on Mosquitto.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Py/Dims] error case to handle dimension

Handle error case if rank from python script is larger than max rank value.
Update log message in python helper.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] Fix incorrect docement link

Fix incorrect file path and names.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Check more properties of query server.

Check more properties of query server.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Enable edge releated test only.

If "unit_test" is disabled and "edge_test" is enabled, run query and
edge test.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Change test name.

To fix xml parser error, change the test name.

Error message: Unescaped '<' not allowed in attributes values

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Query/Test] Set listener port for query client

tensor client of TEST 5-2 and 5-3 use same default port for listener.
Set random available port for query client.

Signed-off-by: gichan <gichan2.jang@samsung.com>

test/query: revive pid retrieval

In recent commits, pid assignment after invoking background processes
has disappeared. Revivde pid assignment so that we can kill unnecessary
processes and avoid indefinite waits.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[spec] Disable AI Offloading on VD Cosmos infra

This patch disables the AI offloading feature on VD Cosmos infra.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

proto/flat/flex buffers: reorganize common data structure.

Do not have common data structures of ext modules in the
global-common directory. Put them in the ext modules
to avoid convoluted dependency.

Fixes #3837

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

filter:pytorch allow gcc only.

Do not allow to build with other compilers.
Refer to #3873 and https://lfscanning.org/reports/lfai/nnstreamer-2022-07-02-8eb54f0b-f36e-43ff-826f-80e9f251e17e.html

This is to comply with GPL-3.0 GCC Runtime Exception License of a few headers in PyTorch.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Query] fix res leak case

Fix res leak in query elements.
Add destroy-cb function in query-server table to prevent mem leak.
Prevent duplicated creation of edge-handle in event callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Spec] feature to enable nns-edge

Add feature to support tensor_query using nnstreamer-edge library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Query/Test] property name in test

Update property name in testcase (connect-type).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Query/Test] caps string in query test

Add debug message to print caps string from query-server.
Prevent invalid caps when parsing tensors caps string in testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Disable query-hybrid test

Disable query-hybrid test unitl the test is fixed.
Related issue: #3877

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] remove nns-edge

nnstreamer-edge is moved to other repository.
Remove related files and build scrit.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Query] Remove unnecessary lines

This patch removes meaningless Caps releated actions from gst_tensor_query_serversink_start.

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

tensor-decoder: add ssd_mobilenet v3 support

This patch adds ssd_mobilent v3 support for post-processing,
it is needed for models without post-processing layer

ssd_mobilenet v3 models handle 2034 anchor boxes
while previous models v2 and v1 handles only 1917 boxes
thus updating the MAX value to 2034 adds support for v3 models

Signed-off-by: Aymen Sghaier <aymen.sghaier@nxp.com>

[Gst/Edge] Add edge pipeline tests

Add edgesrc and edgesink pipeline tests.

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

[Gst/Edge] Init tests for edgesrc and edgesink

Init 'nnstreamer_edge/runTest.sh' and 'nnstreamer_edge/unittest_edge.cc'.
Modify 'tests/meson.build' for unittest_edge.

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

[test][trivial] Fix return errcode EPIPE to ESTRPIPE

- Change return errcode EPIPE to ESTRPIPE according to ml-api's ret
  value

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Query] Update query for new edge interface

 - Update query for new edge interface.
 - Separate ip and port for self and destination.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Update edge lib

 - Update new edge interface.
 - Separate ip and port for self and destination.

Signed-off-by: gichan <gichan2.jang@samsung.com>

ubuntu: force enable mqtt

Force-enable mqtt for PPA / pdebuild builds.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

python: fix python 3.10 PyObject type errors.

From Python 3.10 python->C/C++ object transfer
has stricter type checks. Floats are no more
supported by PyLong.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter] support NNS_TENSOR_RANK_LIMIT 8

This patch changes filter pytorch and tensorflow lites
to support NNS_TENSOR_RANK_LIMIT 8

tensor_filter_pytorch's invoke does not have a problem when NNS_TENSOR_RANK_LIMIT is 4.
But when rank limit is 8, model->invoke has an exception while running the model.

Similarly, tensor_filter_tensorflow_lite's tflite_setInputDim has a problem.
TFLiteInterpreter::setInputTensorsInfo now iterates all possible ranks starting from MAX.
If NNS_TENSOR_RANK_LIMIT changed to 8, there is a case which ResizeInputTensor works
while AllocateTensors does not work.
So I chagned to iterate from MIN, and Allocate Tensors inside for loop.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

query: doxygen tag comment fix

Use /** for doxygen-tag comments.
@gichan-jang : please apply this to nnstreamer-edge.git .

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

query: fix null pointer access

After the while loop, addrs may be a nullptr.
This causes a segmentation fault found with pdebuild/ubuntu 22.04.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean] fix typo, indent

Code clean, trivial, fix typo / indent and add feature for sub-plugin in meson.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

ubuntu: lose python 2

Python3 is no more supported in 22.04. Lose it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

debian: nnfw and tf-1 is now optional.

We are (temporarily?) dropping nnfw and tensorflow-1 support
from Ubuntu 22.04. Make dependencies to nnfw, tf-1 optional
in Debian build scripts.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Query] Implement mqtt-hybrid

Implement mqtt-hybrid using nnstreamer-edge lib.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Add mqtt-hubrid feature

Add mqtt-hybrid feature to nns-edge lib.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Sync with nnst-edge repo latest

Sync with nnstreamer-edge repo latest.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Join] Don't wait all pads get eos event.

Don't wait all pad get eos event.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Enable query test on ubuntu

Let's enable query test on ubuntu.
It seems that the problem that the test sometimes failed has now been solved.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Apply background test to grpc

 - Apply background test to grpc.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Svace] code clean and fix svace

Code clean, fix svace issues.
- check null string when getting caps from edge handle
- fix mem leak case
- fix invalid data comparison

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] Update how-to-write-testcase.md

This patch updates 'runTest.sh' template.

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

tests/grpc: remove timeout command

GBS does not support timeout. Remove it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Edge/Query] Replace caps info when set edge info.

Replace caps info when set edge info.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Disable format warning

Disable format warning to avoid build failure on macOS

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Update edge lib

Update edge lib
 - This chagnes will be removed soon.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[TEST] Modify query test

 - Some parameters are removed, change the query test.
 - Apply back ground test

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Edge] Tensor query TCP connection

Implement tensor query TCP connection using nnstreamer-edge lib.

Signed-off-by: gichan <gichan2.jang@samsung.com>

doc/distro-features: update features per distro

Update the list of features deployed via distro releases.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] Update file list of nnstreamer elements

Since the paths and names of nnstreamer elements are changed, this patch
updates the Android NDK build file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Doc] Update markdown file list of nnstreamer elements

Since the paths and names of nnstreamer elements are changed, this patch
updates the markdown file list of nnstreamer elements.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Common] Reduce Dependency complexity to increase the SAM score

There are lots of modules in /get/nnstreamer folder and it causes a high
dependency complexity. This patch reduces the module number by
integrating elements. Eventually it increases the DEP score from 2.73
to 5.0.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Gst/MQTT/Sink] fix: Remove duplicated g_free for the message buffer

This patch remove duplicated g_free for the message buffer(self->mqtt_msg_buf).

Signed-off-by: Yechan Choi <yechan9.choi@samsung.com>

doc/edge-ai: update documentation

Add more explanation on edge-AI / among-device AI

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

doc/component-description: apply recent updates.

We now have a lot more elements and features.
Update component desciption accordingly.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Svace] init member variables

Fix svace issue, initialize member variables in constructor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Svace] fix svace issues

Fix svace issue, handle memory boundary and return code in test.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test/tvm] Apply Test Fixture to remove redundant code

To remove duplicate code in each test case, this patch applies the test
fixture framework of Google Test. It helps focus on the test case
without considering model loading, or memory allocation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[TEST/query] Do not use fixed port number

Do not use fix port number.
Let's get an available port number so that multiple tests do not use the same port number.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Tests/Meson] Copy bmp2png to the tests directory every build time

In order to enforce to keep ./tests/bmp2png the same as the one in the
build directory, this patch modifies the meson build script to copy
bmp2png to the tests directory from the build directory every build time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

filter/python3: support multi-threaded python custon filters.

Use Python GIL for multi-threaded python custom filters.
Don't use a local lock, use GIL.

Fixes #3822

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>
ps. The execution result of CV2 enabled python code of #3822:

```
$ gst-launch-1.0 videotestsrc num-buffers=10 ! video/x-raw,format=RGB,width=280,height=40 ! tensor_converter ! tensor_filter framework=python3 model=p2.py input=3:280:40:1 inputtype=uint8 output=3:280:40:1 outputtype=uint8  ! tensor_decoder mode=direct_video ! videoconvert ! ximagesink
init_filter_py:844
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
Pipeline is PREROLLED ...
Setting pipeline to PLAYING ...
New clock: GstSystemClock
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
--- USE_CV2:True /source/AutoDrv/NNStreamer/tests/p2.py (33600,)
Got EOS from element "pipeline0".
Execution ended after 0:00:00.333332913
Setting pipeline to PAUSED ...
Setting pipeline to READY ...
Setting pipeline to NULL ...
Freeing pipeline ...
```

[github-action] Run GBS in github-action

Run gbs in github-action for more Tizen testing.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

doc/coding-convention: update the changes of recent years.

Coding convention for C++ has become more concrete and the components of nnstreamer and its neighbor have been updated.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tests] Remove unnecessary line feeds in the runTest.sh files

This patch removes unnecessary line feed in the middle of the string
from the runTest.sh files.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Query] Revise runTest.sh to support macOS

grep in macOS does not have -P, --perl-regexp. In addition, the stat's
option to specify a format also differs from that of Linux distros. This
patch revises runTest.sh to support macOS by applying the above
differences.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[tests/gRPC] Change the hard-coded shared object's extension

This patch changes the hard-coded string, indicating the shared object's
extension, to SO_EXT provided by the SSAT API.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[tests/gRPC] Use ssat-api to check the size of marker.log

In order to make the test script more portable, this patch changes the
stat command line checking the size of marker.log to the universal
command provided by the SSAT API.

Signed-off-by: Wook Song <wook16.song@samsung.com>

doc/API-reference: elaborate the document.

Add some explanations to the topic lists.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Edge] migrating edge library

Prepare uploading edge library.
- temporally rename edge library in nnstreamer
- remove unnecessary param in edge APIs

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/gRPC] Prepare a fallback value for PATH_TO_PLUGIN

In case NNSTREAMER_BUILD_ROOT_PATH is not defined, the test cases for
gRPC might run in an unintentional way. To this end, this patch adds a
fallback value for PATH_TO_PLUGIN to runTest.sh.

Signed-off-by: Wook Song <wook16.song@samsung.com>

dist/Ubuntu: enable Float16 support

Enable Float16 support in deb build.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

dist/Tizen: Enable FLOAT16 in Tizen x64/arm64/arm32

Although tensor-transform doesn't support fp16, yet,
let's enable fp16 support for further development.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: float16 arithmetic

By default, float16 tests are not critical.
However, if the envvar, "FLOAT16_SUPPORTED" is 1, they become
critical.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

tensor-transform: float16 support.

ORC/SIMD support not included.
Float16 w/ heavy tensor-transform is not recommended.

- Generate error if float16 is used in unsupported build
- Generate warning if float16 op is used too heavily (it's slow!)
- Future todo: support SIMD for float16 ops

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

tensor-filter subplugins: add FLOAT16 support

Add float16 support for a few subplugins
with possible float16 usages.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Introduce FLOAT16 stream type

Add FLOAT16 type.
Fortunately, gcc for x64, aarch64, and arm has extension for
float16.

@todo: update meson script so that arch-specific compiler
options for float16 can be added if float16 is enabled.

Addressed #3784

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[gRPC/Common] Modify hard-coded strings indicating sub-plugins' names

This patch modifies the hard-coded strings (e.g., libnnstreamer_grpc_*.so)
which indicate the file name of the sub-plugins to use the pre-defined
file extensions according to the platform.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Meson] Use find_program() instead of 'which'

This patch changes the way to find 'grpc_cpp_plugin' to use
find_program(), the built-in function provided by Meson.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Edge] prepare migration

Change header name for nnstreamer edge library.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] refactoring edge cmd

Refactoring to send/receive edge command and buffer.
- define command info struct to handle command, id, and memories.
- util functions to init, clear edge command.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] client IDs in handle

Remove global table for client IDs, and move it to edge handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] new function to invoke event callback

Add new function to invoke event and export edge-event functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/TFLite] Fix model tensors allocation not working for some delegates

This change is correction for error below reported by the TFlite library
during Invoke():

"Invoke called on model that is not ready."

Tensors allocation may be done by TFLite framework during call to
ModifyGraphWithDelegate() but that is not guaranteed.
Therefore, even if delegates are used, tensors allocation must be done
explicitly with AllocateTensors(), prior to inferencing with Invoke().

Signed-off-by: Julien Vuillaumier <julien.vuillaumier@nxp.com>

[Edge] invalid data info when copying edge data

Fix mem leak and invalid data info when copying edge-data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] util functions for edge data

Add new functions for edge data.
- The edge-data type is unnecessary when creating data handle.
- Client ID will be used in the pipeline, as a meta of buffer.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] code clean

Code clean, check returned err-code and params. Prevent null ptr exception case.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Edge] base code for mutex lock

Update macros and mutex lock in edge handle.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[trivial] Fix typos in the spec file

- Fix some typos in `nnstreamer.spec`.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>