[TEST] Change state change timeout

Change state change time out of the unittest util from 500 ms to 1,000 ms.
For cppFilterObj_base03 test, it takes an average of 700 ms to change the state in the armv7l arch.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[debian] Install the link of nnstreamer lib

Install symlink of nnstreamer shared object in libdir.
This fixes build fail of the nnstreamer-api.
https://code.launchpad.net/~gichan-jang/+recipe/ml-api-daily

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Gst/MQTTSrc] Replace g_cond_wait() with g_cond_wait_until()

To avoid deadlock, this patch replaces g_cond_wait() with
g_cond_wait_until() in the GstMQTTSrc element.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTTSrc] Revise re-connection and re-subscription mechanism

When the MQTTSrc element goes to the GST_STATE_PAUSED state, it will
lose the connection to the broker. In order to restore the connection
and subscriptions established before, this patch modifies the code
snippet that handles the case when the state is changed to PLAYING by
using the GST_BASE_SRC_IS_STARTED and MQTTAsync_reconnect functions.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Do not wait for the start completion in the sync mode

The sychronous mode in the src elements inherited from GstBaseSrc does
not invoke gst_base_src_start_complete() for which
gst_base_src_start_wait() waits. To avoid stuch at
gst_base_src_start_wait(), this patch adds another if-condition that
checking for the element's sychronous behaviour.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Fix the timeout to wait for disconnection

This patch corrects the timeout to wait for the disconnection to the
broker.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Revise renegotiation procedure

In the re-negotiation procedure, the peer's caps, the result of
gst_pad_peer_query_caps, which is filtered by the newly received caps,
could be empty even if it is not NULL. This patch adds the omitted
condition checking the emptiness of the caps before using the peer
caps for re-negotiation.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTTSink] Reduce unnecessary mutex lock when changing states

This patch reduces unnecessary mutex lock operations when changing
MQTTSink's internal states. In addition, g_cond_wait is replaced with
g_cond_wait_until to avoid possible deadlocks.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[debian] Make the link of nnstreamer lib

Make symlink of nnstreamer shared object in libdir.
This fixes build fail of the nnstreamer-api.
https://code.launchpad.net/~gichan-jang/+recipe/ml-api-daily

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Build: create libnnstreamer.so symlink in meson.

Instead of creating symlinks in packaging (RPM/DEB),
create symlinks at meson so that local-build & user-install
works appropriately.

Fixes #3316
CC: @smohantty
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TensorFilter] add a property shared-tensor-filter-key

to share the model representation(interpreter for TFLite), a new property is required. Through this property, user can set the filters that share their model representation. Additional logics(like checking duplication) will be added later.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Filter/TFLite] change interpreter to pointer

To make the interpreter class shareable, need to change to a pointer.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

Refactor/GRPC: remove duplicated get-property codes

grpc-sink and grpc-src have suplicated codes of get-property.
Remove them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TEST] Change timeout of the tensor_if test

Change timeout of the tensor_if test.
Timeout occurs somtimes because of slow speed of the armv7l to save files.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Tests/GstMQTT] Add more test cases for MQTTSink

This patch adds more MQTTSink test cases that can run without the
broker.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Revise the meson build script for GstMQTT

It is not supported to load GStreamer plugins from a static library. For
this reason, this patch removes the static library for the GstMQTT
plugins from the meson build script. In addition, the meson build script
is modifed to install the shared library for the GstMQTT plugins by
default.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Flex/Common] util functions to handle pad caps

add util fucntions to handle pad caps and move these to internal header.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[doc] Add guide for profiling Android app

- Add guide for using GstShark to profile Android NNStreamer pipeline

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[doc] Fix android API build guide

- Remove the guide for modifying gstreamer build script
  It would be done by build script in nnstreamer/api repo
- Add description for tracing build option

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Python3] Fix flexbuffers custom converter

Fix flexbuffers custom converter script.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Python3] Remove duplicated code

Remove duplicated code for tensor converter, decoder and filter.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Meta] define tensor meta

Define new struct for tensor metadata.
The flex-tensor buffer will have a fixed-size header per mem block.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter/Flatbuf,Flexbuf,Protobuf] Remove duplicated code

Remove the duplicated function definition.
Create tensor-converter extra subplugin's common util.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/Mux] testcases for flex tensor

add stream testcases for flex tensor (tensor-mux and tensor-demux)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Demux] accept flex tensor

add pad template to accept flex tensor, and update source to configure tensor info for static/flex tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux] accept flex tensor

add pad template to support flex tensor in tensor-mux.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean/Tool] remove gv in am report

improve score, remove gv in sam report.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[MQTT/Test] add unittest for mqtt

the basic test for get/set properties have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter/subplugins] Fix use after free

The internal representation of temporary of type std::string is freed by its destructor.
Copy the std::string to avoid use after free.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TF2-Lite] Use tensorflow2 directory for include path.

If tensorflow2 headers appear in tensorflow2 directory, use it.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Dist/Deb: add tf2-lite for Ubuntu

Per the request of #3282, add tf2-lite subpackage for Ubuntu releases.

Note that this requires merges of
https://review.tizen.org/gerrit/#/c/platform/upstream/tensorflow2/+/258437/
and then, refreshes of
https://code.launchpad.net/~nnstreamer/+recipe/tensorflow2-daily

After those, we can test build this commit.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Alloc] ref count in allocator

release object after finding allocator, fix possible leak.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tests/Meson] Include unit tests for GSTMqtt in the meson build script

This patch modifies the meson build script to generate and run the
executable for the unit tests of the GSTMqtt elements.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/GstMQTT] Add skeleton code for MQTT elements' unit test cases

Prior to enabling the dummy operation mode, this patch adds skeleton code
for MQTT elements' unit test cases.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/tvm] set input without memory copy

- Update aligned allocator to provide API for memory alignment
- Fix `set_input` to `set_input_zero_copy`
- Requires calling gst_tensor_alloc_init (127) at initial time

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsrc] add mqtt QoS as a property

MQTTsrc will return ack to server when it receives messages according to QoS level.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter/CodeClean] unnecessary memory map

1. remove unnecessary memory map in chain function.
2. failure case when configuring multi tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Keep subscribing to the topic only in the PLAYING state

This patch makes the subscription be removed when the state of the
element is changed to PAUSED from PLAYING. In addition, to block the
extra invocation of the receiving message handler running on the other
thread, checking the subscription flag is added to this handler.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Coverage/Tools] Ignore coverage report of source codes in tools

This patch makes the coverage analyzer ignore the reports of source
codes in tools. We don't need to add unittests for tools.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Trivial] Fix mem leak in tensordec-pose

- Free allocated string in tensordec-pose

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Initialize tensor(s) info and config

Initialize tensor(s) info and config.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[IF] Fix uninitialized value

Fix uninitialized supplied value 2.
Don't need to check the number of the supplied value.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Fix unittest util function

Fix possible double free case.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Refactor/GRPC: remove duplicated codes

grpc-sink and grpc-src have duplicated codes. Remove them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tool/Parser] check null ptr

In tool/parser, check null ptr before comparing the id.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT] Revise README.md

This patch slightly revises README.md.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Converter/CodeClean] remove unnecessary arg

Code clean, remove unnecessary arg in converter internal functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Convert gst pipeline to pbtxt (w/ mediapipe demo site)

This patch converts gst pipeline to pbtxt. It also works on mediapipe demo site.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Adding information about misc ppa

Adding information about misc ppa to make join plugin more discoverable, also added details to make other packages more discoverable.

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Crop] output framerate

While caps negotiation, set output framerate from input configuration.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[MQTTsink] revive the removed callback

according to the `paho-c-mqtt`, if the `message_arrived` callback is null, the others are not registered. For this reason, the removed callback should be existed even they are not called.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tools/Parser] Add nnstreamer-parser to util package

This patch nnstreamer-parser to util package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Filter] testcase for flex tensor

add testcases to handle flexible tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] support flex tensor

Add pad template to support flex tensor in tensor-filter.

If incoming tensor is flexible, tensor-filter cannot get the meta from caps.
In this case, tensor-filter gets model info from subplugin and compares buffer size in transform().
That means, if the model handles non-static info (e.g., set-dimension with input info), it cannot support flex tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Crop] add two sink pads

tensor-crop has 2 sink pads - raw and info.
- raw: receive raw tensor data to be cropped (other/tensor)
- info: receive crop info (other/tensors-flexible)

The output is cropped tensors (flex tensor format).

TODO
1. define GstTensorCropInfo (x,y,w,h) in tensor_typedef.h
2. add cropping in chain function

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Avoid deadlock cases in create() of GstBaseSrcClass

In the current implementation of GstBaseSrcClass's create vmethod, it is
possible that deadlock occurs since some error cases during the
initialization are not properly handled. This patch fixes this bug.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TEST] Fix tensor converter python3 test

 - Remove the test related files.
 - Remove debugging messages

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add tensor decoder python subplugins

Add tensor decoder python subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsink] remove message arrived cb

The callback `on_message_arrived ()` is not required for MQTTsink because it publishes the messages

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] testcases for flex tensor

add testcases about flex-tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] support flex tensor

Add pad template to handle flex tensors.
tensor-converter supports changing capability from flex to static, or static to flex if downstream element has flex-tensor caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Find element name in the pipeline

This patch finds element name in the pipeline.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Filter] Fix tensors info initialization

- Internal tensors-info is not correctly initialized for some sub filters, causing incompatible format error.

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsink] add mqtt QoS as a property

To activate the delivery_complete callback, the `mqtt-qos` property is required.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter] Add subplugins for python custom converter

Add subplugins for python custom converter

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsrc] remove cb_mqtt_on_delivery_complete ()

this callbeck is useless for the subscriber

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] add log messages when connection lost

Since the `cause` of cb_connection_lost is always null, IMO, we need to guide user to check the log messages of the broker

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] change the keep alive interval

set the DEFAULT_MQTT_KEEP_ALIVE_INTERVAL to 1 minute.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Crop] add tensor-crop

Initial commit to add tensor-crop element.
tensor-crop will crop the incoming buffer with crop info.

TODO: define pads
- 2 sink pads: static tensor for raw data, flexible for crop info
- src pad: flexible with cropped tensor

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Add a new property to control the live source mode

This patch adds a new property to specify whether this element acts as a
live source or not. If this property is set to true, the incoming
buffers' timestamp would be synchronized with the current running time
of the pipeline. Since the defualt value is true, it should be disabled
if you want to listen to messages that could have relatively long jitters
or delays.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Handle the GST_QEURY_LATENCY query

This patch overrides the GstBaseSrc virtual method to handl the
GST_QUERY_LATENCY. To this end, the latency calculation procedure is
also added before the incoming buffer is sent the downstream.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[fix/trivial] Fix compile warning of g_param_spec_string in gsttensormerge.c

- Set default string value as argument of `g_param_spec_string()`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Gst/MQTT] Add a new property to enable debugging outputs

This patch adds a new property, 'debug', for controlling the visibility
of debugging outputs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Add missing g_free to fix memory leaks

This patch fixes memory leaks reported by Valgrind by adding missing
g_free invocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Fix memory leaks reported by Valgrind

This patch fixes memory leaks reported by Valgrind categorized as
definitely lost.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[filter/tflite] Add XNNPACK delegate support

- Support XNNPACK delegate
- XNNPACK is a optimized library of floating point inference operators
  for ARM, x86

REF:
- https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/delegates/xnnpack

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tools/Parser] Update build script and add top-level program

This patch updates the build script and adds top-level program
to test build process.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove gstreamer functions and add their substitutes

This patch removes gstreamer functions and add their substitutes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Fix logging messages

This patch fixes logging messages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove delayed linking temporally

This patch removes delayed linking temporally
as it requires too much gstreamer-dependent ones.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensorMerge] change the description of tensor_merge

Since the description of `tensor_merge` is too short to make a pipeline with it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TensorMerge] change the default mode to linear

Currently, if the property `mode` is empty, `tensor_merge` generates an error because the default of the property is ERR. Furthermore, only the mode `linear` is available, it should be a default mode.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Transform] change val name in macro

Fix svace issue, change local param in macro.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Documentation/MQTT] Add a draft explaining the timestamp synchronization

This patch adds a draft that explains the timestamp conversion between
inter-pipelines running on the different devices and the intra-pipeline
timestamp synchronization.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test/Util] compare flex tensor info

add testcases to compare flex tensor info.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] utils to handle flex tensor

add util functions to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] handle invalid buffer

handle error case if incoming buffer has invalid size or the number of mem blocks is different.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Support GstCaps re-negotiation

To support GstCaps re-negotiation based on the information embedded in
the incoming messages' headers, this patch adds procedures to extract
the GstCaps information from the incoming messages' headers and send a
new Caps event to the downstream. As a result, fixating Caps and
negotiating Caps are done again during the message/buffer processing.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Update the message header at every publish

In order to reduce memory copying overhead, the previous implementation
updates the message header only once at the first publish moment. This
might be a little bit effective but cannot handle the incoming buffers
with variable sizes. To overcome such restriction, the message header
will be updated at every publish moment.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] bugfix: Add missing g_free for the message buffer

This patch adds missing g_free for the message buffer,
self->mqtt_msg_buf, dynamically allocated.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Include a string representing caps in the message header

This patch includes a string representation of the fixated GstCaps into
the message header.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Converter] Fix -Werror=sign-compare error

This patch fixes a build error related to -Werror=sign-compare. Note
that this error occurs while building the source code using gcc-7.5.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/BoundingBox] remove unnecessary value

remove unnecessary global value in decoder-subplugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add set property function

Add set filter property function.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] add the restricted elements

the elements for audio & edgeAI have been added.
to make it clear, the additional macros have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Common/CodeClean] function to get pad caps

Code clean, revise function name and remove unnecessary function to check peer caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] error in query caps

In transform-caps function, element should not query caps to peer.
The element should add all possible caps here.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] filters with other/tensor

tensor-filter queries peer caps to check the mimetype.
nnstreamer should handle multi filters connection without an error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/TVM] Add unittest for TVM subplugin

- Add simple model for unittest

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Conf/Subplugin] get registered subplugins

Util function to get registrable subplugins list.

If conf file is not loaded (or does not exists), nnstreamer cannot get the subplugin list from configuration.
In this case (e.g., Android), conveter cannot set the pad template from subplugins, and will make negotiation failure.

To prevent this error, get subplugins from table and conf file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>