Release of NNStreamer 0.2.0

0.1.3 RC has become 0.2.0 as this version is accepted by Tizen 5.5 M1.

- A lot of security issues and bugs fixed (for Tizen 5.5 M1 release)
- Tizen Public C-API Pipeline for 5.5 M1
- Tizen Public C-API SingleShot Prototype
- Yocto/Openembedded layer released
- ROS sink/src
- IIO support
- Android source draft
- Python custom filter
- Android sample application released
- Tensorflow-lite / NNAPI support

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Api/Tizen] unref object after usage

unref caps and pad data after getting each object

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] add macro for logging

add macros for dlog message and replace all dlog_print()

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] change function name

change function name and indent rule in tizen-capi.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/MvNCSDK] Write callbacks for getting dimensions of in/out tensor

This patch fills the bodies of callback functions, getInputDimension and
getOutputDimensions, which return the dimension information of input and
output tensor of this filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/MvNCSDK] Implement callbacks for open/close of filter framework

This patch implements callback functions for opening and closing
GstTensorFilterFramework for the Intel Movidius Neural Compute Stick
sub-plugin of tensor_filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Conf] add option to enable symbolic link

In nnstreamer ini, add new option to enable/disable symbolic link.
Add internal function to check a library is available with symlink option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] validate sub-plugin data

Check decoder sub-plugins data before registration.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[PythonFilter/Testcases] Add some testcases for Python filter

I've added some existing testcases
- passthrough.py
- scaler.py

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Meson] remove unnecessary option

For opencv test, 'enable-opencv-test' is unnecessary option.
Check dependency of opencv pkg and build libraries when found the dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Unittest] GCC7-GTEST compatibility

GCC7 has stricter rules on signed-unsigned comparison.

Update unit-test cases to avoid gtest errors with gcc7.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Conf] add flag to load path from env-var

Parse ini file and add sub-plugins path from env-var. (default false)
For unittest, add temorary configuration to read env variables.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[PythonFilter/Build] Update build files for Ubuntu/Tizen packaging

Changed ubuntu/tizen build files to support Python subplugin/api

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/MvNCSDK/Meson] Add a build dependency on NCSDK2

In order to use NCSDK v2 in the Intel Movidius Neural Compute Stick
sub-plugin of tensor_filter, this patch adds a build dependency on
it to the meson build script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter] Add skeleton for Intel Movidius Neural Compute Stick support

This patch adds skeleton code of a tensor_filter sub-plugin using Neural
Compute SDK ver.2 for Intel Movidius Neural Compute Stick support. The
build tree is also revised to include this sub-plugin.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/Api] remove output type

Remove output type in sub-plugin definition.
Output mime-type depends on sub-plugins out caps.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] subplugin mode only

Support sub-plugins only.
Remove unnecessary private properties and code clean.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder/Api] change function name

change decoder register function / struct name

TODO : refactor decoder main (support plugin mode only)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf] code clean

1. remove unused val error. (set NULL to call glib functions)
2. add function to parse bool from string
3. rename functions and clean-up code

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf/Tensorflow] remove default flag in conf setting

Remove default flag about tensorflow memory optimization.
In tensorflow sub-plugin, read this option using custom-bool function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] function to get element size

Add function to get element size.
Remove variable about element size definition in header.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] function to get element type str

define function to get tensor type string

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Merge/Mux] common functions about time-sync option

In the element merge/mux, add common functions about time-sync option.
Also refactor function name and param to handle sync option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Add 'remarks' information for specific functions

This patch adds the remarks information to properly release allocated
memory space.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Make a verb for the third person singular

To comply with Tizen API Process, this patch makes a verb for the third
person singular in doxygen documentation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Make a consistency in naming of GStreamer

This patch makes a consistency in naming of GStreamer.
* Normal case: GStreamer
* URL only: gstreamer

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Meson] add minimal warning flag

add minimal flags to prevent build warning

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Repo] move repo sources into one directory

tensor-repo is not a common header and can be built only in repo directory.
Move files about tensor-repo into tensor_repo directory and clean up sources.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] remove typefind function

Remove typefind function.

TODO
Consider to add typefind later in tensor-save/load plugins.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Make API signature as single line

This patch makes the API signature as single line to comply with Tizen
API style. This is requested by Sunggyu Choi who is in charge of Tizen
API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Update omitted return codes

This patch updates the omitted return codes for Tizen API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] fix the typos in header

This patch fixes the minor typos in header file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Build/Meson] remove unnecessary flag

Meson v0.50 supports the install arg in configure_file().
If install_dir is set, configured file will be installed.

Also, TEST_TENSORFLOW in rpm spec is unnecessary.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] License Tizen-CAPI as LGPL 2.1

Unify the licences of subpackages.
Fortunately, there are only a few related contributors and
we have re-licensing agreements in CoC as well.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/API] Rename tizen-api.h to nnstreamer.h

The file name "tizen-api.h" is ubsurd for Tizen application writers.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/API] Module group hierarchy fix

NNStreamer Pipeline is in NNStreamer group.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[UNITTEST] Skip the test when there is not tensorflow and lite

We need to skip tests using tensorflow and lite if they are not
installed. So pkg-config is used to identify their installation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Build/Plugin] common plugin registration

Move all element registration to common file. (warning about function prototype)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Subplugin] handle error case

update code to handle error case of invalid params.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Subplugin] check symlink before getting handle

Add code to check symlink before open file handle.
(fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] validate sub-plugin data

1. Add code to validate nn-framework data before registration.
2. Code clean to set filter properties.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] open file with with glib function

Use glib function to open file (fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder/Sub-plugins] use glib to load labels

1. use glib function to load and initialize labels (fix one of security issues)
2. fix exception case when total label is larger then ssd model output

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Repo] handle empty repo data

If repo has no data or hashtable returns null, this makes exception to set lock or signal.
To prevent this exception, check returned data and handle error case.

Exception case when checking 'gst-inspect-1.0 -a'
tensor-repo made an exception.

TODO: Consider to move repo/reposrc/reposink sources into one directory.
Now tensor-repo is not a common source.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf/Subplugins] scan subplugins

1. Scan sub-plugins directory and update only so files.
2. Print the list of sub-plugins using gst-inspect in filter/decoder.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/TF] use glib to parse and compare string

use glib to compare and parse strings (fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Api] move NNFW struct

Mode the struct NNFW definition and properties into filter-api header.
Change function name and code clean.

TODO : update decoder struct and api also.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] init local variable

Initialize variable to handle memory blocks (fix coverity issue)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverity 1050294, 1050288] Dereference before null check

In order to handle the dereference issue, this patch uses g_strcmp0()
function instead of g_str_equal().

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Coverity 1050034] Resource leak

Since gst_object_get_name() returns a copy of the name string and it
should be freed by calling g_free(). This patch adds the omitted
g_free() function to fix the memory leak issue.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Coverity 1051566] Resource leak

After calling g_file_get_contents(), 'file_contents' variable is not
freed so memory leak occurs. This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Unittest] Added tensorflow-lite model data

Add tensorflow-lite model data when test unittest is installed.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Unittest] add install gen24bBMP.py

gen24bBMP.py is requried from some of tests

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Meson] remove unnecessary flag

remove unnecessary flag and clean meson script

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] fix build warning

update sources to fix warning (missing-prototypes)

TODO : add function prototype to register tensor_* plugins

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] pad info struct

define common tensor-pad struct used in split/demux

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] Added support for other/tensors

Added support for other/tensors when merging of channels
with corresponding test cases

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[SVACE] Fix Issue WGID 414649

Threre is svace issue said:

WID:66310927 Return value of a function 'gst_buffer_get_meta' is
dereferenced at tensor_reposrc.c:338 without checking, but it is
usually checked for this function (20/21).

Add check if the meta is null and arise the error.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Build] remove warning

remove build warning (-Wdiscarded-qualifiers)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[SVACE/IIO] Bugfix of memory leak for iio svace

MEMORY_LEAK.EX Dynamic memory referenced by raw_data_base was allocated
by calling function g_malloc and lost

Fixed with updated memory free

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[SVACE] Fix Issue #414638

There is svace issuse said:
WID:66310552 Return value of a function 'g_slist_nth' is dereferenced
at tensor_common.c:1096 without checking, but it is usually checked
for this function (195/205).

Add Null check.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[UNITTEST] add tensorflow-lite test cases accorting to option

add
 . nnstreamer_filter_tensorflow-lite
 . nnstreamer_filter_tensorflow
 . nnstreamer_decoder_image_labeling

according to enable-tensorflow and enable-tensorflow-lite option.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Test/Valgrind] timer to push buffer

1. add timer to push test buffers into appsrc.
2. prevent unittest locked when appsrc cannot send eos event.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson/Test] increase test-timeout

set unittest timeout to 2 minutes for sink and src_iio stream test.

default 30 seconds may make a timeout error when running unittests in local.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Orc] remove unnecessary code

We don't need to init orc functions.
It will be called when creating new orc program.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Split] code clean

remove warning, change function and val names, and code clean.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Split] exception to get property

check null ptr to get the property tensorseg

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/Repo] remove unnecessary header

1. In testcase of tensor-repo test, it does not need to include repo header.
2. Code clean tensor-repo src/sink

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] remove warning

update changes to remove warning message

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[SVACE] Addressess memory leaks

Resolved memory leaks given by svace for src_iio code as well as tests

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Coverity] Resolved negative returns issue

Negative returns: negative value used as argument to a function
expecting a postive value

Resolved with an assert

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Coverity] Resolved memory leaks

Resource Leak : Leak of memory or pointers to system resources

Resolved with free data pointers

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Coverity] Resolved TOCTOU issuse from coverity

TOCTOU issue : A check occurs on a file's attributes before the file
is used in a priveleged operation, but things may have changed.

Removed file test operation and using stat as a single check operation
as well as file size reading operation.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tizen/API] Add testcase about src node

In order to increase test coverage, this patch additionally adds some
test cases for src node.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Update the comment about nns_pipeline_src_puthandle()

This patch updates the header comment of nns_pipeline_src_puthandle()
API. Detailed items are as below.

* Add the omitted return value NNS_ERROR_TRY_AGAIN.
* Set policy as `in` parameter instead of `out` parameter.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Transform/Orc] data ptr in orc function

For add,mul,div op in orc functions, use single array ptr to handle operator.

Orc generated functions have __restrict__ ptr, the pointers overlapping memory regions may cause an error.

To avoid this, pass single array ptr to handle each operator.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] Refactor sampling frequency handling

1. Refactored handling sampling frequency
2. Added more cases for sampling frequency when files dont exist
3. Renamed functions for better understanding

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tizen/API] Remove dependency 'tensor_typedef.h'

In order to pass the ACR process, 'tensor_typedef.h' in tizen-api.h
should be removed and its related thing also be updated. This patch
handles that issue. Detailed modification are as below.

* Remove dependency for 'nnstreamer/tensor_typedef.h' header
* Add necessary constant and enum variables such as
  NNS_TENSOR_RANK_LIMIT and nns_tensors_info.
* Use nns_tensors_info structure instead of GstTensorsInfo

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[IIO] added more documentation

- Updated README.md
- Added section description for the element

V2:
supports -> support

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Build/C-Api] clean build script

remove unnecessary dep declare and fix typo

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] Custom channel index number as input

Added the option for user to specify custom channel number as input
to enable specific channels.
Added test case for custom channel index as well.

V2:
Using hash table for custom channel setting

V3:
Updated property description spec with better format

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[PythonFilter/Subplugin] Add a subplugin for Python custom filters

It's a nnstreamer subplugin for custom filters written in Python.
It supports both Python 2 and 3.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] remove unnecessary free

Remove unnecessary free that caused error with valgrind

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[IIO] Using case insensitive string comparison

Using case insensitive string comparison for property decision

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[IIO] bugfixes related to errors from yocto run

1. set base src as async, resolves the error of hanging
  without setting base_src as async, _start_complete gets called twice
2. initializing log_file to NULL
3. NULL check for variable before using it for remove/rmdir
4. remove _query function, was incomplete, and complete function
  was same as parent class function

resolve #1353

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[PythonFilter/API] Add a python module to provide NNS-related APIs

It's a python module which a user will import in a python script.
Currently, only 'TensorShape' type object is supported.
I am currently considering other useful APIs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[IIO] Enable/Disable buffer at correct state

Enabling/Disabling buffer when going from PAUSED to PLAYING state.
This might lead to higher latency but provides latest and correct data.
Enabling in READY to PAUSED can lead to accumulation of frames before playing
and result in unreal latency as well as old data.
This commit will also sync gst timing with iio device time.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[IIO] Added more test cases with corresponding bug fixes

1. Added test cases for
  - caps verification
  - default restoration
  - setting trigger with number
  - using generic scan element type
  - auto enable channels
2. Corresponding bug fixes

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tizen/API] TestCase add. "src"

Add unit test cases for Tizen/C-API/Main/source

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/API] Fix pipeline-src implementation

- Return TensorsInfo with get-src-handle
- Fix src-inputdata with TensorsInfo caching mechanism

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build/Android] add common definition

define common features to build nnstreamer library for android

TODO: update mk files in nnstreamer-example later

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] Added more test cases

1. Added test cases when only some of the channels are enabled
2. Bug fix in test case for indexing when filling in data
3. Added test case for using device number and testing name-by-id

V2:
1. Unref the pipeline to invoke finalize()
2. Pipeline variable renamed from src_iio to src_iio_pipeline

V3:
- Integer divide precision updated

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[IIO] Added data validity testcases

1. Added test case to check data validity for the element for various data bytes sizes
2. Added a property of timeout while reading file in non-blocking mode.
This allows looping while reading the file along with EAGAIN error.
3. Corrected mask generation
4. IIO dev file is replaced with fifo. Using threads to make these fifo as
opening it blocks unless both read and write mode are opened together.
5. Added test case to validate data with and without trigger.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tizen/API] Update header file to comply with Tizen API rule

In order to comply with the checklist of Tizen API, this patch modifies
a user header file, which is actually included in the code. Detailed
items of modification are as below.

* Add a period "." at the end of @brief.
* Values NNS_ERROR_PIPELINE_FAIL and TIZEN_ERROR_STREAMS_PIPE have
  different suffixes.
* No description in enum variables.
* Enum names should end with '_e'.
* Please use @param[in], @param[out] or @param[in,out]

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/TF] refcount of tf-buffer

With mem-optimized flag, always unref tf-buffer after making tensor with passed input data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Demux] fix invalid pad index

1. fix invalid src pad index in tensor-demux
2. add simple testcase for the properties and tensorpick option

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] bugfix when passing a wrong pipeline command

If passing a wrong pipeline command such as non-existent element or
erroneous pipeline, assertion failure occurs in
nns_pipeline_construct(). This is mainly because gst_parse_launch()
could return non-NULL even though the error is set. So this patch checks
both the return value and GError value.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test:Tizen/API] Add pipeline failure test

This patch newly adds the pipeline failure tests when passing the wrong
pipeline command such as non-existent element or erroneous pipeline.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Test] checking opencv availability at runtime

Added option to check opencv availability at runtime.
This simplify meson.build in nnstreamer_example.
Also added verification of the model before running the test.

Resolves #1332

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[IIO] refactor _start()

Refactored _start for code maintainability and understanding.
Resolves #1300

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>