[MQTTsrc] add log messages when connection lost

Since the `cause` of cb_connection_lost is always null, IMO, we need to guide user to check the log messages of the broker

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[MQTTsrc] change the keep alive interval

set the DEFAULT_MQTT_KEEP_ALIVE_INTERVAL to 1 minute.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Crop] add tensor-crop

Initial commit to add tensor-crop element.
tensor-crop will crop the incoming buffer with crop info.

TODO: define pads
- 2 sink pads: static tensor for raw data, flexible for crop info
- src pad: flexible with cropped tensor

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Add a new property to control the live source mode

This patch adds a new property to specify whether this element acts as a
live source or not. If this property is set to true, the incoming
buffers' timestamp would be synchronized with the current running time
of the pipeline. Since the defualt value is true, it should be disabled
if you want to listen to messages that could have relatively long jitters
or delays.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Handle the GST_QEURY_LATENCY query

This patch overrides the GstBaseSrc virtual method to handl the
GST_QUERY_LATENCY. To this end, the latency calculation procedure is
also added before the incoming buffer is sent the downstream.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[fix/trivial] Fix compile warning of g_param_spec_string in gsttensormerge.c

- Set default string value as argument of `g_param_spec_string()`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Gst/MQTT] Add a new property to enable debugging outputs

This patch adds a new property, 'debug', for controlling the visibility
of debugging outputs.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Add missing g_free to fix memory leaks

This patch fixes memory leaks reported by Valgrind by adding missing
g_free invocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Fix memory leaks reported by Valgrind

This patch fixes memory leaks reported by Valgrind categorized as
definitely lost.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[filter/tflite] Add XNNPACK delegate support

- Support XNNPACK delegate
- XNNPACK is a optimized library of floating point inference operators
  for ARM, x86

REF:
- https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/delegates/xnnpack

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tools/Parser] Update build script and add top-level program

This patch updates the build script and adds top-level program
to test build process.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove gstreamer functions and add their substitutes

This patch removes gstreamer functions and add their substitutes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Fix logging messages

This patch fixes logging messages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Parser] Remove delayed linking temporally

This patch removes delayed linking temporally
as it requires too much gstreamer-dependent ones.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TensorMerge] change the description of tensor_merge

Since the description of `tensor_merge` is too short to make a pipeline with it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TensorMerge] change the default mode to linear

Currently, if the property `mode` is empty, `tensor_merge` generates an error because the default of the property is ERR. Furthermore, only the mode `linear` is available, it should be a default mode.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Transform] change val name in macro

Fix svace issue, change local param in macro.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Documentation/MQTT] Add a draft explaining the timestamp synchronization

This patch adds a draft that explains the timestamp conversion between
inter-pipelines running on the different devices and the intra-pipeline
timestamp synchronization.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test/Util] compare flex tensor info

add testcases to compare flex tensor info.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] utils to handle flex tensor

add util functions to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] handle invalid buffer

handle error case if incoming buffer has invalid size or the number of mem blocks is different.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Src] Support GstCaps re-negotiation

To support GstCaps re-negotiation based on the information embedded in
the incoming messages' headers, this patch adds procedures to extract
the GstCaps information from the incoming messages' headers and send a
new Caps event to the downstream. As a result, fixating Caps and
negotiating Caps are done again during the message/buffer processing.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Update the message header at every publish

In order to reduce memory copying overhead, the previous implementation
updates the message header only once at the first publish moment. This
might be a little bit effective but cannot handle the incoming buffers
with variable sizes. To overcome such restriction, the message header
will be updated at every publish moment.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] bugfix: Add missing g_free for the message buffer

This patch adds missing g_free for the message buffer,
self->mqtt_msg_buf, dynamically allocated.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Include a string representing caps in the message header

This patch includes a string representation of the fixated GstCaps into
the message header.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Converter] Fix -Werror=sign-compare error

This patch fixes a build error related to -Werror=sign-compare. Note
that this error occurs while building the source code using gcc-7.5.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/BoundingBox] remove unnecessary value

remove unnecessary global value in decoder-subplugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add set property function

Add set filter property function.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] add the restricted elements

the elements for audio & edgeAI have been added.
to make it clear, the additional macros have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Common/CodeClean] function to get pad caps

Code clean, revise function name and remove unnecessary function to check peer caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] error in query caps

In transform-caps function, element should not query caps to peer.
The element should add all possible caps here.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] filters with other/tensor

tensor-filter queries peer caps to check the mimetype.
nnstreamer should handle multi filters connection without an error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/TVM] Add unittest for TVM subplugin

- Add simple model for unittest

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Conf/Subplugin] get registered subplugins

Util function to get registrable subplugins list.

If conf file is not loaded (or does not exists), nnstreamer cannot get the subplugin list from configuration.
In this case (e.g., Android), conveter cannot set the pad template from subplugins, and will make negotiation failure.

To prevent this error, get subplugins from table and conf file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Seperate postive and negative tests

Seperate positive and negative tests of the unittest_armnn

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] condition to check file size

In test-util function, set condition to check file size while running a pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/Prop] parse combination option

1. parse combi option as unsigned int and check the index (less than 16).
2. fix possible mem leak (release combi option list).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] input combi option

While getting tensor info in caps negotiation, check input combi option and compare info with combined.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[If] invalid map info

memory map info is valid until gst_memory_unmap() is called.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Sink] Support dynamic buffer re-allocation

This patch changes the message buffer allocation mechanism. When the
size of the incoming GStreamer buffer exceeds that of the current
message buffer allocated, the existing buffer would be freed and
re-allocated. Note that in the case the size of the message buffer
is fixed by the max-buffer-size property, this feature is disabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Introduce a new property, max-buffer-size

This patch introduces a new property, max-buffer-size, which specifies
the maximum size of a message buffer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Support basic timestamp synchronization

This patch adds a feature for the basic timestamp synchronization
support. Note that this feature works under the assumption that all the
device's system date and time values have been synchronized.

Signed-off-by: Wook Song <wook16.song@samsung.com>

with GST_PLUGIN_PATH set `gst-inspect-1.0 nnstreamer` works, also renamed Dockerfile to use standard naming convention

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Format] clang format for typecast

add space when using c-style typecast.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoders] fix the mem leaks of the external decoders

Since the ref count is raised when `gst_buffer_get_all_memory ()` is used, `gst_memory_unref ()` has to be called after using the memory.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test/NNFW] init info in testcase

Initialize tensor-info struct before calling filter callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[filter/TVM] Add tensor-filter subplugin for TVM

- `dlpack` and either `tvm` or `tvm_runtime` should be included
- Only supports tvm model compiled with relay (graph_executor)

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Gst/MQTT] bugfix: Change default values for pub/sub-topic and client-id

This patch changes the default values which are used when the values for
the pub/sub-topic and client-id properties are not given.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Eliminate unnecessary critical sections

This patch removes unnecessary critical sections. Mutual exclusion
controlling is only needed when trying to change the pipeline's state.
In addition, instead of locking and unlocking the element object itself,
a GMutex variable in the object is used.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Remove unnecessary dynamic memory allocations

In order to reduce the burden from memory management, this patch removes
unnecessary dynamic memory allocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Revise mqttsink to use the MQTTAsync C client library

This patch revises the mqttsink element to use the Asynchronous MQTT
client library for C. Unnecessary dynamic allocation and lock operations
are also removed.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Support asynchronous subscribe via paho.mqtt.c

This patch enables mqttsrc to support an asynchronous subscribe to the
given topic. In the mqttsrc implementation, the asynchronous MQTT client
library for C has been used instead of the MQTT Client library for C,
used for implementation of mqttsink.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Support synchronize publish via paho.mqtt.c

This patch updates mqttsink to support synchronize publish using the
MQTT protocol. Note that only basic features required to publish a
topic are currently implemented.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TCM] Rename TCM config file

To run the TCM on AHub infra, the default name of config file should be
'config.yaml'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter] reduce duplicated source

Code clean, add common functions for combi option and set-info callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix format and code style

fix clang format error in taos-ci and code style.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix clang format

fix clang format error in taos-ci and testcase name rule.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] add init-config

Before updating tensor config, initialize config struct.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson/MQTT] Add an option to support MQTT

This patch adds a Meson configuration option to support MQTT. In order
to avoid build break, this option is disabled for the Debian and Tizen
packages.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Make it work as a dummy sink

This patch makes MQTTSink work as a dummy sink that has a single sink
pad with "ANY" caps.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson/MQTT] Generate libgstmqtt including MQTT GstElements

This patch modifies the meson build scripts to add the skeleton code of
MQTT plugins and generate libgstmqtt, the collection of them.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Add skeleton codes for MQTT plugins

This patch adds skeleton codes of sink and src elements for MQTT support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter] python3 helper funciton

nnstreamer_python3 package include python3 helper functiom.
Change it to use by converter and decoder.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Sink] accept flex tensor

add pad template to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Change external converter param

Change external converter param
 - Remove unnecessary param (frames_in, frame_size)

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Common] predefined mime type

Code clean, compare predefined mime type - other/tensor(s).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[filter/tflite] Add enum for tflite delegates

- Add enum for delegates
- Refactor parsing custom props

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder/BoundingBox] add a testcase for the deprecated modes

To guarantee backward compatibility with the deprecated modes(`tflite-ssd`, `tf-ssd`), some test cases are required.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tools/Parser] GST Object Emulators

These aux routines emulate GST Objects so that
parsers wouldn't rely on actual GStreamer libraries
and pipeline instances.

This commit is WIP and will be continued by DJ.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[FlexTensors] define mimetype for flexible tensors

add definition to handle flexible tensors stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] reduce complexity

code clean, reduce code complexity.
add internal function to parse incoming caps for custom mode.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder/BoundingBox] revive old modes for backward compatibility

For the old-pipeline, make the previous names are usable.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Decoder/BoundingBox] change the name of option

The mode of this decoder should be decided according to the model rather than the framework.
Currently, however, some of the modes are decided by the framework: `tf-ssd`, `tflite-ssd`

If we want to use this decoder to run a TFLite model that include the `postprocess`, we have to use `tf-ssd`.
It could occur some confusion.
For this reason, I want to suggest that the name should be changed.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[indent] Change indent style

Change coding style
  - but no space after unary operators:
     &  *  +  -  ~  !  sizeof  typeof  alignof  __attribute__  defined
reference: https://www.kernel.org/doc/html/v4.10/process/coding-style.html

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Docs] Change nnstreamer CI server link

Change nnstreamer CI server link

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Enable detection for nntrainer singleshot

This patch maps *.ini as nntrainer to utilize auto detection for
nntrainer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Common/Collect] check null param

add condition to check null param (public functions only)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux/Merge] clear collect pad data

Clear old buffer in collect pad data when received flush event.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Add caps filter

Add caps filter of tensor converter for _NNS_MEDIA_ANY type.

Example launchline:
```
...
        tensor_filter silent=false framework=tensorflow-lite model=tflite_model/ssd_mobilenet_v2_coco.tflite ! \
        tensor_decoder mode=flexbuf ! other/flexbuf ! tensor_converter silent=false ! \
        other/tensors, num_tensors=2, framerate=30/1, dimensions=\"4:1:1917:1\,91:1917:1:1\", types=\"float32\,float32\" ! \
        tensor_decoder mode=bounding_boxes option1=tflite-ssd option2=tflite_model/coco_labels_list.txt option3=tflite_model/box_priors.txt option4=640:480 option5=300:300 ! ... \
```

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Change menu tree name of contributing doc.

Change menu tree name of Documentation/contributing.md.
Related issue: #3100

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder/DirectVideo] add the video format RGBA

To handle various video formats, the available formats are required for the direct video decoder and add an option to handle it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TEST] Add converter and decoder subplugins test

Add tensor converter and decoder subplugin test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] Add tensor transform mode option test

Add tensor transform mode option test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add tensor common unittests

Add unittest for tensor common functions.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TCM] Modify tca config files

 - Move android and tizen config file of the TCM to nnstreamer/api repo
 - Modify nnstreamer config file of the TCM

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter/Decoder] Add error handling code and testcases

Add error handling code for tensor converter and decoder subplugins
Add testcases for tensor converter and decoder subplugins

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Define function to find subplugins

Define function to find converter subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[aggregator/converter] Fix when GST_EVENT_FLUSH_*

- Do not reset tensor config when flush event occurs, just clear the buffers

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Mux/Merge] change property name

change property name (sync mode and option), remove underbar in property name.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SRNPU/FILTER] Add auto detection for SRNPU subplugin

This patch adds auto detection for SRNPU subplugin.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/AMC] clear looper

Clear looper when media steam is finished.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Change gboolean comparison

Never directly compare the contents of a gboolean variable with the values TRUE or FALSE.
Use `if (condition)` to check a gboolean is "true", instead of `if (condition == TRUE)`. Likewise use `if (!condition)` to check a gboolean is "false".
There is no validation when assigning to a gboolean variable and so it could contain any value represented by a gint. This is why the use of if (condition) is recommended.
All non-zero values in C evaluate to "true".

Refer: https://developer.gnome.org/glib/stable/glib-Basic-Types.html#gboolean

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Fix/Python3] Fix install link name of python3 module

This patch fixes install link name of python3 module.

As python subplugin scripts import 'nnstreamer_python',
its name should be also matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Converter] Remove duplicated error handling code

Remove duplicated error handling code.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Fix mem leak of the converter

A memory leak occurred because the name of the tensor was not released.
Free the name of the tensor and set default name as "" instead of
"Anonymous"

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform] add regex for stand mode

1. add regex for stand mode, filter option string.
2. ignore upper/lowercase.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/EdgeTPU] tf-lite ver for EdgeTPU

When tensorflow2-lite is enabled, set dependency tf2-lite to build EdgeTPU sub-plugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test/tensor_transform] Add testcases for stand

- Add SSAT testcases for stand: default and dc-average

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_data] Make tensor_data_raw_* return allocated memory

- `gst_tensor_data_raw_*` get double pointer for result as input. And allocate memory for it.
- Correspond change in tensor_transform and gsttensorif
- Divide with N, not N - 1 when calculate standard deviation

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_transform] Add "per-channel" option to stand

- "channel" is the first dimension.
- Support channel-wise default and dc-average transform

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>