[Tests/Converter] Fix -Werror=sign-compare error

This patch fixes a build error related to -Werror=sign-compare. Note
that this error occurs while building the source code using gcc-7.5.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/BoundingBox] remove unnecessary value

remove unnecessary global value in decoder-subplugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Add set property function

Add set filter property function.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Spec] add the restricted elements

the elements for audio & edgeAI have been added.
to make it clear, the additional macros have been added.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Common/CodeClean] function to get pad caps

Code clean, revise function name and remove unnecessary function to check peer caps.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] error in query caps

In transform-caps function, element should not query caps to peer.
The element should add all possible caps here.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] filters with other/tensor

tensor-filter queries peer caps to check the mimetype.
nnstreamer should handle multi filters connection without an error.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test/TVM] Add unittest for TVM subplugin

- Add simple model for unittest

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Conf/Subplugin] get registered subplugins

Util function to get registrable subplugins list.

If conf file is not loaded (or does not exists), nnstreamer cannot get the subplugin list from configuration.
In this case (e.g., Android), conveter cannot set the pad template from subplugins, and will make negotiation failure.

To prevent this error, get subplugins from table and conf file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[TEST] Seperate postive and negative tests

Seperate positive and negative tests of the unittest_armnn

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] condition to check file size

In test-util function, set condition to check file size while running a pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/Prop] parse combination option

1. parse combi option as unsigned int and check the index (less than 16).
2. fix possible mem leak (release combi option list).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter] input combi option

While getting tensor info in caps negotiation, check input combi option and compare info with combined.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[If] invalid map info

memory map info is valid until gst_memory_unmap() is called.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Gst/MQTT/Sink] Support dynamic buffer re-allocation

This patch changes the message buffer allocation mechanism. When the
size of the incoming GStreamer buffer exceeds that of the current
message buffer allocated, the existing buffer would be freed and
re-allocated. Note that in the case the size of the message buffer
is fixed by the max-buffer-size property, this feature is disabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Introduce a new property, max-buffer-size

This patch introduces a new property, max-buffer-size, which specifies
the maximum size of a message buffer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Support basic timestamp synchronization

This patch adds a feature for the basic timestamp synchronization
support. Note that this feature works under the assumption that all the
device's system date and time values have been synchronized.

Signed-off-by: Wook Song <wook16.song@samsung.com>

with GST_PLUGIN_PATH set `gst-inspect-1.0 nnstreamer` works, also renamed Dockerfile to use standard naming convention

Signed-off-by: shortcipher3 <chris.jon.hall@gmail.com>

[Format] clang format for typecast

add space when using c-style typecast.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoders] fix the mem leaks of the external decoders

Since the ref count is raised when `gst_buffer_get_all_memory ()` is used, `gst_memory_unref ()` has to be called after using the memory.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test/NNFW] init info in testcase

Initialize tensor-info struct before calling filter callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[filter/TVM] Add tensor-filter subplugin for TVM

- `dlpack` and either `tvm` or `tvm_runtime` should be included
- Only supports tvm model compiled with relay (graph_executor)

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Gst/MQTT] bugfix: Change default values for pub/sub-topic and client-id

This patch changes the default values which are used when the values for
the pub/sub-topic and client-id properties are not given.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Eliminate unnecessary critical sections

This patch removes unnecessary critical sections. Mutual exclusion
controlling is only needed when trying to change the pipeline's state.
In addition, instead of locking and unlocking the element object itself,
a GMutex variable in the object is used.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Remove unnecessary dynamic memory allocations

In order to reduce the burden from memory management, this patch removes
unnecessary dynamic memory allocations.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Revise mqttsink to use the MQTTAsync C client library

This patch revises the mqttsink element to use the Asynchronous MQTT
client library for C. Unnecessary dynamic allocation and lock operations
are also removed.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Src] Support asynchronous subscribe via paho.mqtt.c

This patch enables mqttsrc to support an asynchronous subscribe to the
given topic. In the mqttsrc implementation, the asynchronous MQTT client
library for C has been used instead of the MQTT Client library for C,
used for implementation of mqttsink.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Support synchronize publish via paho.mqtt.c

This patch updates mqttsink to support synchronize publish using the
MQTT protocol. Note that only basic features required to publish a
topic are currently implemented.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TCM] Rename TCM config file

To run the TCM on AHub infra, the default name of config file should be
'config.yaml'.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter] reduce duplicated source

Code clean, add common functions for combi option and set-info callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix format and code style

fix clang format error in taos-ci and code style.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Format] fix clang format

fix clang format error in taos-ci and testcase name rule.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] add init-config

Before updating tensor config, initialize config struct.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Meson/MQTT] Add an option to support MQTT

This patch adds a Meson configuration option to support MQTT. In order
to avoid build break, this option is disabled for the Debian and Tizen
packages.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT/Sink] Make it work as a dummy sink

This patch makes MQTTSink work as a dummy sink that has a single sink
pad with "ANY" caps.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson/MQTT] Generate libgstmqtt including MQTT GstElements

This patch modifies the meson build scripts to add the skeleton code of
MQTT plugins and generate libgstmqtt, the collection of them.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Gst/MQTT] Add skeleton codes for MQTT plugins

This patch adds skeleton codes of sink and src elements for MQTT support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter] python3 helper funciton

nnstreamer_python3 package include python3 helper functiom.
Change it to use by converter and decoder.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Sink] accept flex tensor

add pad template to handle flexible tensor stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Change external converter param

Change external converter param
 - Remove unnecessary param (frames_in, frame_size)

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Common] predefined mime type

Code clean, compare predefined mime type - other/tensor(s).

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[filter/tflite] Add enum for tflite delegates

- Add enum for delegates
- Refactor parsing custom props

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Decoder/BoundingBox] add a testcase for the deprecated modes

To guarantee backward compatibility with the deprecated modes(`tflite-ssd`, `tf-ssd`), some test cases are required.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tools/Parser] GST Object Emulators

These aux routines emulate GST Objects so that
parsers wouldn't rely on actual GStreamer libraries
and pipeline instances.

This commit is WIP and will be continued by DJ.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[FlexTensors] define mimetype for flexible tensors

add definition to handle flexible tensors stream.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] reduce complexity

code clean, reduce code complexity.
add internal function to parse incoming caps for custom mode.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Decoder/BoundingBox] revive old modes for backward compatibility

For the old-pipeline, make the previous names are usable.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Decoder/BoundingBox] change the name of option

The mode of this decoder should be decided according to the model rather than the framework.
Currently, however, some of the modes are decided by the framework: `tf-ssd`, `tflite-ssd`

If we want to use this decoder to run a TFLite model that include the `postprocess`, we have to use `tf-ssd`.
It could occur some confusion.
For this reason, I want to suggest that the name should be changed.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[indent] Change indent style

Change coding style
  - but no space after unary operators:
     &  *  +  -  ~  !  sizeof  typeof  alignof  __attribute__  defined
reference: https://www.kernel.org/doc/html/v4.10/process/coding-style.html

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Docs] Change nnstreamer CI server link

Change nnstreamer CI server link

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

Enable detection for nntrainer singleshot

This patch maps *.ini as nntrainer to utilize auto detection for
nntrainer.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Common/Collect] check null param

add condition to check null param (public functions only)

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Mux/Merge] clear collect pad data

Clear old buffer in collect pad data when received flush event.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] Add caps filter

Add caps filter of tensor converter for _NNS_MEDIA_ANY type.

Example launchline:
```
...
        tensor_filter silent=false framework=tensorflow-lite model=tflite_model/ssd_mobilenet_v2_coco.tflite ! \
        tensor_decoder mode=flexbuf ! other/flexbuf ! tensor_converter silent=false ! \
        other/tensors, num_tensors=2, framerate=30/1, dimensions=\"4:1:1917:1\,91:1917:1:1\", types=\"float32\,float32\" ! \
        tensor_decoder mode=bounding_boxes option1=tflite-ssd option2=tflite_model/coco_labels_list.txt option3=tflite_model/box_priors.txt option4=640:480 option5=300:300 ! ... \
```

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Change menu tree name of contributing doc.

Change menu tree name of Documentation/contributing.md.
Related issue: #3100

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder/DirectVideo] add the video format RGBA

To handle various video formats, the available formats are required for the direct video decoder and add an option to handle it.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TEST] Add converter and decoder subplugins test

Add tensor converter and decoder subplugin test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] Add tensor transform mode option test

Add tensor transform mode option test

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add tensor common unittests

Add unittest for tensor common functions.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TCM] Modify tca config files

 - Move android and tizen config file of the TCM to nnstreamer/api repo
 - Modify nnstreamer config file of the TCM

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter/Decoder] Add error handling code and testcases

Add error handling code for tensor converter and decoder subplugins
Add testcases for tensor converter and decoder subplugins

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Define function to find subplugins

Define function to find converter subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[aggregator/converter] Fix when GST_EVENT_FLUSH_*

- Do not reset tensor config when flush event occurs, just clear the buffers

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Mux/Merge] change property name

change property name (sync mode and option), remove underbar in property name.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SRNPU/FILTER] Add auto detection for SRNPU subplugin

This patch adds auto detection for SRNPU subplugin.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Android/AMC] clear looper

Clear looper when media steam is finished.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Change gboolean comparison

Never directly compare the contents of a gboolean variable with the values TRUE or FALSE.
Use `if (condition)` to check a gboolean is "true", instead of `if (condition == TRUE)`. Likewise use `if (!condition)` to check a gboolean is "false".
There is no validation when assigning to a gboolean variable and so it could contain any value represented by a gint. This is why the use of if (condition) is recommended.
All non-zero values in C evaluate to "true".

Refer: https://developer.gnome.org/glib/stable/glib-Basic-Types.html#gboolean

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Fix/Python3] Fix install link name of python3 module

This patch fixes install link name of python3 module.

As python subplugin scripts import 'nnstreamer_python',
its name should be also matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Converter] Remove duplicated error handling code

Remove duplicated error handling code.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Converter] Fix mem leak of the converter

A memory leak occurred because the name of the tensor was not released.
Free the name of the tensor and set default name as "" instead of
"Anonymous"

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform] add regex for stand mode

1. add regex for stand mode, filter option string.
2. ignore upper/lowercase.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Filter/EdgeTPU] tf-lite ver for EdgeTPU

When tensorflow2-lite is enabled, set dependency tf2-lite to build EdgeTPU sub-plugin.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[test/tensor_transform] Add testcases for stand

- Add SSAT testcases for stand: default and dc-average

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_data] Make tensor_data_raw_* return allocated memory

- `gst_tensor_data_raw_*` get double pointer for result as input. And allocate memory for it.
- Correspond change in tensor_transform and gsttensorif
- Divide with N, not N - 1 when calculate standard deviation

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_transform] Add "per-channel" option to stand

- "channel" is the first dimension.
- Support channel-wise default and dc-average transform

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Add apply option testcases for tensor transform

Add apply option testcases for tensor transform

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TRANSFORM] Add apply option

User can select tensors to apply transformation.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Test] Fix the Svace issue

ret variable is used without initialization. This patch fixes the bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[TizenSensor] init sensor type

set init value of sensor type. 'all' means no specific sensor and if user does not set type in pipeline, it will be failed.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeQuality] add return error value

without error return, there are a lot of unreachable code blocks will be existed.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[CodeQuality] check the variables before using it

check the allocated or passed variables has proper state.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[CodeQuality] release memory when test is failed

when a test case is finalized with ASSERT, the allocated memory should be freed properly.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[TensorIf] add a NULL checker

To improve code quality, I want to suggest a null checker.

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Doxygen] Add missing doxygen tag

Add missing doxygen tag for tensorrt

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Subplugins] Add extern "C"

Add extern "C" in converter, decoder and filter subplugins.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Flatbuffers] Change function name

Change the name of functions to be consistent.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Fix typo in md files

Typo correction in md files.

Signed-off-by: Junhwan Kim <jejudo.kim@samsung.com>

[Spec] Remove archiving script

This patch removes an archiving script, which is not necessary.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[RPM] Add virtual conf package

Add virtual conf package to resolve build dependency issue as suggested
in https://github.com/nnstreamer/api/pull/21#issuecomment-804599118

With this patch, it is now possible to install devel package with
`/etc/nntrainer.ini` or the packager choose to use `test-devel` when
building.

See also nnstreamer/nntrainer#1034

**Evaluation Method**
Cross building with nntrainer package

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Cc: Myungjoo Ham <myungjoo.ham@samsung.com>
Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[CONVERTER] Change custom mode name

Changed custom mode name to custom-code fot callback type.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Transform/Orc] orc acceleration for tensors

condition to support orc acceleration for each tensor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Flatbuffer] Remove memcpy in converter

Remove memory copy in converter.
Memory allocation occurs two times on g_memdup and gst_memory_new_wrapped.
Changed to use gst_memory_share.
No memory copy is performed and the memory region is simply shared.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Doc] Modify tensor_if README.md

 - Remove description of unsupported properties.
 - Elaborate the description.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

tests/nnstreamer_repo_dynamicity: Fix unittest_repo binary path handling

In case the unit tests are run from their installed directory,
unittest_repo binary can't be found in this case because install test
directory path and unittest_repo binary location are invalid.

This fixes regression introduced by bfb6630ff and 0c02456ba

Signed-off-by: Xavier Roumegue <xavier.roumegue@nxp.com>

CODEOWNERS: Add members

We had been accepting new members.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TEST] Add tensor transform testcases for tensrs stream

Add tensor transform testcases for tensrs stream

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TRANSFORM] Changed to support tensors

Changd tensor transform to support tensors

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[TEST] Add tensor decdoer cusotom mode unittest

Add tensor decoder custom mode unittest

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[Decoder] Add decoder cusotm operation

It is similar to cusom-easy of the tensor filter.
Get an input tensors and make output media stream.
It can be used to create cusom media stream from tensors such as flexbuffer.
Output capability is application/octet-stream.

Signed-off-by: Gichan Jang <gichan2.jang@samsung.com>

[grpc/debian] Disable grpc packages in debian distro

This patch disables grpc packages in debian distro.
For now, gRPC is only supported in Tizen env.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>