[Tests/Meson] Include unit tests for GSTMqtt in the meson build script

This patch modifies the meson build script to generate and run the
executable for the unit tests of the GSTMqtt elements.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/GstMQTT] Add skeleton code for MQTT elements' unit test cases

Prior to enabling the dummy operation mode, this patch adds skeleton code
for MQTT elements' unit test cases.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/tvm] set input without memory copy

- Update aligned allocator to provide API for memory alignment
- Fix `set_input` to `set_input_zero_copy`
- Requires calling gst_tensor_alloc_init (127) at initial time

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsrc] add mqtt QoS as a property

MQTTsrc will return ack to server when it receives messages according to QoS level.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter/CodeClean] unnecessary memory map

1. remove unnecessary memory map in chain function.
2. failure case when configuring multi tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Keep subscribing to the topic only in the PLAYING state

This patch makes the subscription be removed when the state of the
element is changed to PAUSED from PLAYING. In addition, to block the
extra invocation of the receiving message handler running on the other
thread, checking the subscription flag is added to this handler.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Coverage/Tools] Ignore coverage report of source codes in tools

This patch makes the coverage analyzer ignore the reports of source
codes in tools. We don't need to add unittests for tools.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Trivial] Fix mem leak in tensordec-pose

- Free allocated string in tensordec-pose

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Initialize tensor(s) info and config

Initialize tensor(s) info and config.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[IF] Fix uninitialized value

Fix uninitialized supplied value 2.
Don't need to check the number of the supplied value.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Fix unittest util function

Fix possible double free case.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Refactor/GRPC: remove duplicated codes

grpc-sink and grpc-src have duplicated codes. Remove them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tool/Parser] check null ptr

In tool/parser, check null ptr before comparing the id.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT] Revise README.md

This patch slightly revises README.md.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Converter/CodeClean] remove unnecessary arg

Code clean, remove unnecessary arg in converter internal functions.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Convert gst pipeline to pbtxt (w/ mediapipe demo site)

This patch converts gst pipeline to pbtxt. It also works on mediapipe demo site.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Adding information about misc ppa

Adding information about misc ppa to make join plugin more discoverable, also added details to make other packages more discoverable.

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Crop] output framerate

While caps negotiation, set output framerate from input configuration.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[MQTTsink] revive the removed callback

according to the `paho-c-mqtt`, if the `message_arrived` callback is null, the others are not registered. For this reason, the removed callback should be existed even they are not called.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tools/Parser] Add nnstreamer-parser to util package

This patch nnstreamer-parser to util package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Filter] testcase for flex tensor

add testcases to handle flexible tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] support flex tensor

Add pad template to support flex tensor in tensor-filter.

If incoming tensor is flexible, tensor-filter cannot get the meta from caps.
In this case, tensor-filter gets model info from subplugin and compares buffer size in transform().
That means, if the model handles non-static info (e.g., set-dimension with input info), it cannot support flex tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Crop] add two sink pads

tensor-crop has 2 sink pads - raw and info.
- raw: receive raw tensor data to be cropped (other/tensor)
- info: receive crop info (other/tensors-flexible)

The output is cropped tensors (flex tensor format).

TODO
1. define GstTensorCropInfo (x,y,w,h) in tensor_typedef.h
2. add cropping in chain function

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Avoid deadlock cases in create() of GstBaseSrcClass

In the current implementation of GstBaseSrcClass's create vmethod, it is
possible that deadlock occurs since some error cases during the
initialization are not properly handled. This patch fixes this bug.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TEST] Fix tensor converter python3 test

 - Remove the test related files.
 - Remove debugging messages

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add tensor decoder python subplugins

Add tensor decoder python subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsink] remove message arrived cb

The callback `on_message_arrived ()` is not required for MQTTsink because it publishes the messages

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] testcases for flex tensor

add testcases about flex-tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] support flex tensor

Add pad template to handle flex tensors.
tensor-converter supports changing capability from flex to static, or static to flex if downstream element has flex-tensor caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Parser] Find element name in the pipeline

This patch finds element name in the pipeline.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Filter] Fix tensors info initialization

- Internal tensors-info is not correctly initialized for some sub filters, causing incompatible format error.

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[MQTTsink] add mqtt QoS as a property

To activate the delivery_complete callback, the `mqtt-qos` property is required.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Converter] Add subplugins for python custom converter

Add subplugins for python custom converter

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[MQTTsrc] remove cb_mqtt_on_delivery_complete ()

this callbeck is useless for the subscriber

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] add log messages when connection lost

Since the `cause` of cb_connection_lost is always null, IMO, we need to guide user to check the log messages of the broker

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] change the keep alive interval

set the DEFAULT_MQTT_KEEP_ALIVE_INTERVAL to 1 minute.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Crop] add tensor-crop

Initial commit to add tensor-crop element.
tensor-crop will crop the incoming buffer with crop info.

TODO: define pads
- 2 sink pads: static tensor for raw data, flexible for crop info
- src pad: flexible with cropped tensor

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Add a new property to control the live source mode

This patch adds a new property to specify whether this element acts as a
live source or not. If this property is set to true, the incoming
buffers' timestamp would be synchronized with the current running time
of the pipeline. Since the defualt value is true, it should be disabled
if you want to listen to messages that could have relatively long jitters
or delays.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Handle the GST_QEURY_LATENCY query

This patch overrides the GstBaseSrc virtual method to handl the
GST_QUERY_LATENCY. To this end, the latency calculation procedure is
also added before the incoming buffer is sent the downstream.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[fix/trivial] Fix compile warning of g_param_spec_string in gsttensormerge.c

- Set default string value as argument of `g_param_spec_string()`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Gst/MQTT] Add a new property to enable debugging outputs

This patch adds a new property, 'debug', for controlling the visibility
of debugging outputs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Add missing g_free to fix memory leaks

This patch fixes memory leaks reported by Valgrind by adding missing
g_free invocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Fix memory leaks reported by Valgrind

This patch fixes memory leaks reported by Valgrind categorized as
definitely lost.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[filter/tflite] Add XNNPACK delegate support

- Support XNNPACK delegate
- XNNPACK is a optimized library of floating point inference operators
  for ARM, x86

REF:
- https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/delegates/xnnpack

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tools/Parser] Update build script and add top-level program

This patch updates the build script and adds top-level program
to test build process.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove gstreamer functions and add their substitutes

This patch removes gstreamer functions and add their substitutes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Fix logging messages

This patch fixes logging messages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove delayed linking temporally

This patch removes delayed linking temporally
as it requires too much gstreamer-dependent ones.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensorMerge] change the description of tensor_merge

Since the description of `tensor_merge` is too short to make a pipeline with it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TensorMerge] change the default mode to linear

Currently, if the property `mode` is empty, `tensor_merge` generates an error because the default of the property is ERR. Furthermore, only the mode `linear` is available, it should be a default mode.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Transform] change val name in macro

Fix svace issue, change local param in macro.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Documentation/MQTT] Add a draft explaining the timestamp synchronization

This patch adds a draft that explains the timestamp conversion between
inter-pipelines running on the different devices and the intra-pipeline
timestamp synchronization.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test/Util] compare flex tensor info

add testcases to compare flex tensor info.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] utils to handle flex tensor

add util functions to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] handle invalid buffer

handle error case if incoming buffer has invalid size or the number of mem blocks is different.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Support GstCaps re-negotiation

To support GstCaps re-negotiation based on the information embedded in
the incoming messages' headers, this patch adds procedures to extract
the GstCaps information from the incoming messages' headers and send a
new Caps event to the downstream. As a result, fixating Caps and
negotiating Caps are done again during the message/buffer processing.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Update the message header at every publish

In order to reduce memory copying overhead, the previous implementation
updates the message header only once at the first publish moment. This
might be a little bit effective but cannot handle the incoming buffers
with variable sizes. To overcome such restriction, the message header
will be updated at every publish moment.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] bugfix: Add missing g_free for the message buffer

This patch adds missing g_free for the message buffer,
self->mqtt_msg_buf, dynamically allocated.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Include a string representing caps in the message header

This patch includes a string representation of the fixated GstCaps into
the message header.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Converter] Fix -Werror=sign-compare error

This patch fixes a build error related to -Werror=sign-compare. Note
that this error occurs while building the source code using gcc-7.5.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/BoundingBox] remove unnecessary value

remove unnecessary global value in decoder-subplugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add set property function

Add set filter property function.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] add the restricted elements

the elements for audio & edgeAI have been added.
to make it clear, the additional macros have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Common/CodeClean] function to get pad caps

Code clean, revise function name and remove unnecessary function to check peer caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] error in query caps

In transform-caps function, element should not query caps to peer.
The element should add all possible caps here.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] filters with other/tensor

tensor-filter queries peer caps to check the mimetype.
nnstreamer should handle multi filters connection without an error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/TVM] Add unittest for TVM subplugin

- Add simple model for unittest

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Conf/Subplugin] get registered subplugins

Util function to get registrable subplugins list.

If conf file is not loaded (or does not exists), nnstreamer cannot get the subplugin list from configuration.
In this case (e.g., Android), conveter cannot set the pad template from subplugins, and will make negotiation failure.

To prevent this error, get subplugins from table and conf file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Seperate postive and negative tests

Seperate positive and negative tests of the unittest_armnn

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] condition to check file size

In test-util function, set condition to check file size while running a pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/Prop] parse combination option

1. parse combi option as unsigned int and check the index (less than 16).
2. fix possible mem leak (release combi option list).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] input combi option

While getting tensor info in caps negotiation, check input combi option and compare info with combined.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[If] invalid map info

memory map info is valid until gst_memory_unmap() is called.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Sink] Support dynamic buffer re-allocation

This patch changes the message buffer allocation mechanism. When the
size of the incoming GStreamer buffer exceeds that of the current
message buffer allocated, the existing buffer would be freed and
re-allocated. Note that in the case the size of the message buffer
is fixed by the max-buffer-size property, this feature is disabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Introduce a new property, max-buffer-size

This patch introduces a new property, max-buffer-size, which specifies
the maximum size of a message buffer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Support basic timestamp synchronization

This patch adds a feature for the basic timestamp synchronization
support. Note that this feature works under the assumption that all the
device's system date and time values have been synchronized.

Signed-off-by: Wook Song <wook16.song@samsung.com>

with GST_PLUGIN_PATH set `gst-inspect-1.0 nnstreamer` works, also renamed Dockerfile to use standard naming convention

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Format] clang format for typecast

add space when using c-style typecast.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoders] fix the mem leaks of the external decoders

Since the ref count is raised when `gst_buffer_get_all_memory ()` is used, `gst_memory_unref ()` has to be called after using the memory.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test/NNFW] init info in testcase

Initialize tensor-info struct before calling filter callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[filter/TVM] Add tensor-filter subplugin for TVM

- `dlpack` and either `tvm` or `tvm_runtime` should be included
- Only supports tvm model compiled with relay (graph_executor)

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Gst/MQTT] bugfix: Change default values for pub/sub-topic and client-id

This patch changes the default values which are used when the values for
the pub/sub-topic and client-id properties are not given.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Eliminate unnecessary critical sections

This patch removes unnecessary critical sections. Mutual exclusion
controlling is only needed when trying to change the pipeline's state.
In addition, instead of locking and unlocking the element object itself,
a GMutex variable in the object is used.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Remove unnecessary dynamic memory allocations

In order to reduce the burden from memory management, this patch removes
unnecessary dynamic memory allocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Revise mqttsink to use the MQTTAsync C client library

This patch revises the mqttsink element to use the Asynchronous MQTT
client library for C. Unnecessary dynamic allocation and lock operations
are also removed.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Support asynchronous subscribe via paho.mqtt.c

This patch enables mqttsrc to support an asynchronous subscribe to the
given topic. In the mqttsrc implementation, the asynchronous MQTT client
library for C has been used instead of the MQTT Client library for C,
used for implementation of mqttsink.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Support synchronize publish via paho.mqtt.c

This patch updates mqttsink to support synchronize publish using the
MQTT protocol. Note that only basic features required to publish a
topic are currently implemented.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TCM] Rename TCM config file

To run the TCM on AHub infra, the default name of config file should be
'config.yaml'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter] reduce duplicated source

Code clean, add common functions for combi option and set-info callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix format and code style

fix clang format error in taos-ci and code style.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix clang format

fix clang format error in taos-ci and testcase name rule.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] add init-config

Before updating tensor config, initialize config struct.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson/MQTT] Add an option to support MQTT

This patch adds a Meson configuration option to support MQTT. In order
to avoid build break, this option is disabled for the Debian and Tizen
packages.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Make it work as a dummy sink

This patch makes MQTTSink work as a dummy sink that has a single sink
pad with "ANY" caps.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson/MQTT] Generate libgstmqtt including MQTT GstElements

This patch modifies the meson build scripts to add the skeleton code of
MQTT plugins and generate libgstmqtt, the collection of them.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Add skeleton codes for MQTT plugins

This patch adds skeleton codes of sink and src elements for MQTT support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter] python3 helper funciton

nnstreamer_python3 package include python3 helper functiom.
Change it to use by converter and decoder.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Sink] accept flex tensor

add pad template to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Change external converter param

Change external converter param
 - Remove unnecessary param (frames_in, frame_size)

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Common] predefined mime type

Code clean, compare predefined mime type - other/tensor(s).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>