[Test/Crop] testcases for tensor-crop

add new testcases for tensor-crop (default crop region)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Crop] handle buffer timestamp

Add new property lateness.
If user sets lateness, then tensor-crop will compare the timestamp of incoming buffers and will drop buffer if time-diff is larger than lateness.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Crop] crop region

First and default mode to crop region of raw data.

TODO:
We should handle various crop-mode and lateness in tensor-crop.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] caps in tensor-converter

update docs - flex tensor and caps in tensor-converter.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Tensor-filter: error handling w/o goto

Error handling of element internal data validity does not require goto.
Rewrite it without goto.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Tensor-filter: elaborate error messages with invoke.

The runtime error messages of tensor-filter are not
meeting the standard. Elaborate the messages with
enough information for debugging.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Tensor-filter: reduce CC by separating parameter checks.

Separate parameter check subrountine to reduce CC, which is
mentioned by "SAM".

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean] use util function to free tensor config

Code clean, use common util function to free tensor config struct.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Fix python converter test fail on arm arch

 - Fix python converter test fail on arm arch becasuse of slow speed of the
arm emulator.
 - Fix size of the input memory for test.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[filter/tvm] Fix dimension order and add custom prop

Bug fix: inversed dimension order
Add custom prop `num_input_tensors`
- Since `get_num_inputs` API for tvm model returns (#inputs + #params), user should specify only #inputs

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Common/Util] util function to free config struct

Prepare later work, define util function to free config structure.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[mqtt] Clear mutex of mqttsrc and mqttsink

Clear mutex when this is no longer used.`

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Debian] fix debian control for TVM

This patch adds debian packaging for TVM filter
Fix meson.build corresponding to tvm-dev package

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[test/trivial] Fix signed-unsigned compare

- Fix gtest signed-unsigned compare cases
- Change unittest_converter.cc CRLF -> LF

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[lua] Support script mode

- Support lua script in raw string given by tensor_filter model prop
- Add related SSAT testcase

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[spec] Enable Lua filter subplugin in Tizen

- Enable lua filter support by default in Tizen

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[test/lua] Add ssat test for lua filter

- Add SSAT testcases for lua tensor_filter subplugin
- It tests two model; one is passthrough and the other is scaler

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter/Lua] Add Lua tensor_filter subplugin

- Add Lua filter working with Lua5.1
- For now, it only supports num_tensors == 1 for input/output and
  only supports uint8 type

TODO:
- scale for num_tensors > 1
- Support various tensor type
- Support script given by raw string

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common/MemFlag] remove read-only flag

remove unnecessary read-only flag when creating memory block with raw data.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/Flex] add header if buffer is flex tensor

handle flex-tensor meta and header in memory in the testcases.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux] add header if out is flex tensor

When incoming tensor is static tensor stream and out is flex, append header in each memory block.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] header to handle flex tensor

handle header in flex tensor.
- parse header and set ptr to invoke the model, if incoming buffer is flex tensor.
- append header if output is flex tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] header to process flex tensor

Using meta utils, parse and add header into each memory in buffer.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meta/Test] testcases for util functions

add testcases for tensor meta util functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meta] util functions

add util functions to handle tensor meta info.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Release of NNStreamer 1.7.2 devel

This is a developmental release of NNStreamaer 1.7.2.

1.7.1 -> 1.7.2 (includes a huge amount of changes)

        - NNStreamer for Edge-AI project started.
                - Main festures of 1.8.0 release and its immediate successors will be "Edge-AI", which allows distributed on-device AI inferences.

                - The new stream type, "Flex-Tensor", is introduced. Dimensions and types of tensor stream may vary per frame without cap-renegotiations.
                        - Many nnstreamer's tensor-* elements support Flex-Tensor.
                        - You may use tensor-converter to convert between flex-tensor and (static) tensor.
                - MQTT-SINK and MQTT-SRC elements are added for edge-AI systems with MQTT pub/sub streams.
                        - MQTT streams support "ANY" capabilities.
                        - Assuming that clocks of nodes are synchronized by NTP or other mechanisms, pipeline users may send timestamp related info via MQTT streams for multi-source synchronization.
                - Tensor-crop, a new nnstreamer-gstreamer element.
                        - Basic feature only (cropping a tensor stream with information of another tensor stream)

        - Major features
                - GSTPipeline to PBTXT parser. You can use PBTXT-pipeline visualization tools with the parsed results.
                - FlexBuffers support.
                - TVM support

                - Tensor-IF with custom (user code plugged at run-time) conditions
                - Tensorflow-lite delegation designation is generalized.
                - Tensorflow2-lite XNNPACK delegation
                - NNTrainer-inference can be attached as a filter along with both API sets.
                - CAPI: updated documentation, added new enums for recent nnstreamer features, ...
                - API interface and implementation is separated to another git repository for better architecture.
                - Tensor-converter and Tensor-decoder support custom ops.
        - Minor features
                - Filter subplugin priority with ini file configuration.
                - Decoder/Bounding-Box improved: output tensor mapping, clamp bounding box locations, labeling issues, more options.
                - Decoder/Pose-Estimation improved: proper labeling.
                - Testcases added for gRPC, Android, Tensor-rate, ...
                - Refactoring (reduce complexity, remove duplicity, build options, ...)
                - Android build & release upgraded.
                - Converter usability upgrade: property to list subplugins, subplugin naming/install rules.
                - Pytorch: exception handling, Android build
                - gRPC: per-IDL packaging, interface updates, common-code revise, async mode, ...
                - Support Tensorflow 2.4 API (TF has broken backward compatibility again)
                - Tensor-transform: may operate on chosen tensor or channel only.
        - Fixes
                - Android resource leak.
                - CAPI timing, header issues, seg-faults, memory leaks, ...
                - MacOS build errors.
                - TensorRT dependency bugs
                - Edge-TPU compatibility issues.
                - Unit test fixes (memory leaks, resource leaks, skip disabled features, ...)
                - Fixed reported issues (security, memory leaks, query-caps, ...)
        - Extra
                - Support for Python 2.x is dropped.
                - Automated doc-page generation with Hotdoc.
                - Android build now includes GST-Shark for performance profiling.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Converter] Add custom python converter testcases

Add custom python converter testcases.
 1. Test dynamic dimension
 2. Test custom python conveter using json

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Documentation: meson build description updated.

Per the request of #3320, the document is updated.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/ONE] change backend str

MM team request, before implementing fallback mode in ONE, set backend str w/cpu.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Transform] set write flag

In transform() function, set write flag when mapping the output buffer.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Flatbuffers] Add faltbuffers python

Add flatbuffers python support to tizen.
This will enable tensor converter and decoder unittest of the python.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[README] Change android release link

 - Since JCenter service is stopped, replaced with daily build release temporarily.
 - Change android official releases table

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Change state change timeout

Change state change time out of the unittest util from 500 ms to 1,000 ms.
For cppFilterObj_base03 test, it takes an average of 700 ms to change the state in the armv7l arch.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[debian] Install the link of nnstreamer lib

Install symlink of nnstreamer shared object in libdir.
This fixes build fail of the nnstreamer-api.
https://code.launchpad.net/~gichan-jang/+recipe/ml-api-daily

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Gst/MQTTSrc] Replace g_cond_wait() with g_cond_wait_until()

To avoid deadlock, this patch replaces g_cond_wait() with
g_cond_wait_until() in the GstMQTTSrc element.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTTSrc] Revise re-connection and re-subscription mechanism

When the MQTTSrc element goes to the GST_STATE_PAUSED state, it will
lose the connection to the broker. In order to restore the connection
and subscriptions established before, this patch modifies the code
snippet that handles the case when the state is changed to PLAYING by
using the GST_BASE_SRC_IS_STARTED and MQTTAsync_reconnect functions.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Do not wait for the start completion in the sync mode

The sychronous mode in the src elements inherited from GstBaseSrc does
not invoke gst_base_src_start_complete() for which
gst_base_src_start_wait() waits. To avoid stuch at
gst_base_src_start_wait(), this patch adds another if-condition that
checking for the element's sychronous behaviour.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Fix the timeout to wait for disconnection

This patch corrects the timeout to wait for the disconnection to the
broker.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Revise renegotiation procedure

In the re-negotiation procedure, the peer's caps, the result of
gst_pad_peer_query_caps, which is filtered by the newly received caps,
could be empty even if it is not NULL. This patch adds the omitted
condition checking the emptiness of the caps before using the peer
caps for re-negotiation.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTTSink] Reduce unnecessary mutex lock when changing states

This patch reduces unnecessary mutex lock operations when changing
MQTTSink's internal states. In addition, g_cond_wait is replaced with
g_cond_wait_until to avoid possible deadlocks.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[debian] Make the link of nnstreamer lib

Make symlink of nnstreamer shared object in libdir.
This fixes build fail of the nnstreamer-api.
https://code.launchpad.net/~gichan-jang/+recipe/ml-api-daily

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Build: create libnnstreamer.so symlink in meson.

Instead of creating symlinks in packaging (RPM/DEB),
create symlinks at meson so that local-build & user-install
works appropriately.

Fixes #3316
CC: @smohantty
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TensorFilter] add a property shared-tensor-filter-key

to share the model representation(interpreter for TFLite), a new property is required. Through this property, user can set the filters that share their model representation. Additional logics(like checking duplication) will be added later.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Filter/TFLite] change interpreter to pointer

To make the interpreter class shareable, need to change to a pointer.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

Refactor/GRPC: remove duplicated get-property codes

grpc-sink and grpc-src have suplicated codes of get-property.
Remove them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TEST] Change timeout of the tensor_if test

Change timeout of the tensor_if test.
Timeout occurs somtimes because of slow speed of the armv7l to save files.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Tests/GstMQTT] Add more test cases for MQTTSink

This patch adds more MQTTSink test cases that can run without the
broker.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Revise the meson build script for GstMQTT

It is not supported to load GStreamer plugins from a static library. For
this reason, this patch removes the static library for the GstMQTT
plugins from the meson build script. In addition, the meson build script
is modifed to install the shared library for the GstMQTT plugins by
default.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Flex/Common] util functions to handle pad caps

add util fucntions to handle pad caps and move these to internal header.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[doc] Add guide for profiling Android app

- Add guide for using GstShark to profile Android NNStreamer pipeline

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Fix android API build guide

- Remove the guide for modifying gstreamer build script
  It would be done by build script in nnstreamer/api repo
- Add description for tracing build option

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Python3] Fix flexbuffers custom converter

Fix flexbuffers custom converter script.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Python3] Remove duplicated code

Remove duplicated code for tensor converter, decoder and filter.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Meta] define tensor meta

Define new struct for tensor metadata.
The flex-tensor buffer will have a fixed-size header per mem block.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter/Flatbuf,Flexbuf,Protobuf] Remove duplicated code

Remove the duplicated function definition.
Create tensor-converter extra subplugin's common util.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/Mux] testcases for flex tensor

add stream testcases for flex tensor (tensor-mux and tensor-demux)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Demux] accept flex tensor

add pad template to accept flex tensor, and update source to configure tensor info for static/flex tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux] accept flex tensor

add pad template to support flex tensor in tensor-mux.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean/Tool] remove gv in am report

improve score, remove gv in sam report.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[MQTT/Test] add unittest for mqtt

the basic test for get/set properties have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter/subplugins] Fix use after free

The internal representation of temporary of type std::string is freed by its destructor.
Copy the std::string to avoid use after free.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TF2-Lite] Use tensorflow2 directory for include path.

If tensorflow2 headers appear in tensorflow2 directory, use it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Dist/Deb: add tf2-lite for Ubuntu

Per the request of #3282, add tf2-lite subpackage for Ubuntu releases.

Note that this requires merges of
https://review.tizen.org/gerrit/#/c/platform/upstream/tensorflow2/+/258437/
and then, refreshes of
https://code.launchpad.net/~nnstreamer/+recipe/tensorflow2-daily

After those, we can test build this commit.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Alloc] ref count in allocator

release object after finding allocator, fix possible leak.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Meson] Include unit tests for GSTMqtt in the meson build script

This patch modifies the meson build script to generate and run the
executable for the unit tests of the GSTMqtt elements.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/GstMQTT] Add skeleton code for MQTT elements' unit test cases

Prior to enabling the dummy operation mode, this patch adds skeleton code
for MQTT elements' unit test cases.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/tvm] set input without memory copy

- Update aligned allocator to provide API for memory alignment
- Fix `set_input` to `set_input_zero_copy`
- Requires calling gst_tensor_alloc_init (127) at initial time

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsrc] add mqtt QoS as a property

MQTTsrc will return ack to server when it receives messages according to QoS level.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter/CodeClean] unnecessary memory map

1. remove unnecessary memory map in chain function.
2. failure case when configuring multi tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Keep subscribing to the topic only in the PLAYING state

This patch makes the subscription be removed when the state of the
element is changed to PAUSED from PLAYING. In addition, to block the
extra invocation of the receiving message handler running on the other
thread, checking the subscription flag is added to this handler.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Coverage/Tools] Ignore coverage report of source codes in tools

This patch makes the coverage analyzer ignore the reports of source
codes in tools. We don't need to add unittests for tools.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Trivial] Fix mem leak in tensordec-pose

- Free allocated string in tensordec-pose

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Initialize tensor(s) info and config

Initialize tensor(s) info and config.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[IF] Fix uninitialized value

Fix uninitialized supplied value 2.
Don't need to check the number of the supplied value.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Fix unittest util function

Fix possible double free case.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Refactor/GRPC: remove duplicated codes

grpc-sink and grpc-src have duplicated codes. Remove them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tool/Parser] check null ptr

In tool/parser, check null ptr before comparing the id.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT] Revise README.md

This patch slightly revises README.md.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Converter/CodeClean] remove unnecessary arg

Code clean, remove unnecessary arg in converter internal functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Convert gst pipeline to pbtxt (w/ mediapipe demo site)

This patch converts gst pipeline to pbtxt. It also works on mediapipe demo site.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Adding information about misc ppa

Adding information about misc ppa to make join plugin more discoverable, also added details to make other packages more discoverable.

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Crop] output framerate

While caps negotiation, set output framerate from input configuration.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[MQTTsink] revive the removed callback

according to the `paho-c-mqtt`, if the `message_arrived` callback is null, the others are not registered. For this reason, the removed callback should be existed even they are not called.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tools/Parser] Add nnstreamer-parser to util package

This patch nnstreamer-parser to util package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Filter] testcase for flex tensor

add testcases to handle flexible tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] support flex tensor

Add pad template to support flex tensor in tensor-filter.

If incoming tensor is flexible, tensor-filter cannot get the meta from caps.
In this case, tensor-filter gets model info from subplugin and compares buffer size in transform().
That means, if the model handles non-static info (e.g., set-dimension with input info), it cannot support flex tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Crop] add two sink pads

tensor-crop has 2 sink pads - raw and info.
- raw: receive raw tensor data to be cropped (other/tensor)
- info: receive crop info (other/tensors-flexible)

The output is cropped tensors (flex tensor format).

TODO
1. define GstTensorCropInfo (x,y,w,h) in tensor_typedef.h
2. add cropping in chain function

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Avoid deadlock cases in create() of GstBaseSrcClass

In the current implementation of GstBaseSrcClass's create vmethod, it is
possible that deadlock occurs since some error cases during the
initialization are not properly handled. This patch fixes this bug.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TEST] Fix tensor converter python3 test

 - Remove the test related files.
 - Remove debugging messages

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add tensor decoder python subplugins

Add tensor decoder python subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsink] remove message arrived cb

The callback `on_message_arrived ()` is not required for MQTTsink because it publishes the messages

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] testcases for flex tensor

add testcases about flex-tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] support flex tensor

Add pad template to handle flex tensors.
tensor-converter supports changing capability from flex to static, or static to flex if downstream element has flex-tensor caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Find element name in the pipeline

This patch finds element name in the pipeline.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Filter] Fix tensors info initialization

- Internal tensors-info is not correctly initialized for some sub filters, causing incompatible format error.

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsink] add mqtt QoS as a property

To activate the delivery_complete callback, the `mqtt-qos` property is required.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter] Add subplugins for python custom converter

Add subplugins for python custom converter

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsrc] remove cb_mqtt_on_delivery_complete ()

this callbeck is useless for the subscriber

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] add log messages when connection lost

Since the `cause` of cb_connection_lost is always null, IMO, we need to guide user to check the log messages of the broker

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] change the keep alive interval

set the DEFAULT_MQTT_KEEP_ALIVE_INTERVAL to 1 minute.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>