[CAPI] Beautify CAPI Generality Support

While the default CAPI header is focussed on Tizen,
if "-Denable-tizen=false", the CAPI header becomes
non-Tizen, which does not require any Tizen packages.

1. Beautify by not using .spec for sed (support non-RPM packages)
2. Beautify by not using unnecessary header in nnstreamer.h
3. Beautify by adding enable-tizen meson option.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/CAPI] Fix sign-ness mismatch

Add 'U' postfix for numbers required to be unsigned.
This fixes CAPI unittest build errors in Ubuntu.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Subplugin] define function to find subplugin

1. add definition to find filter/decoder sub-plugins instance.
2. check duplicated name when registering sub-plugin.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/Api] Reorganize API directory

Since previous 'tizen-api' directory only supports Tizen CAPI, this
patch reorganizes directory structure to support multiple platform APIs
as below.

  NNStreamer - api - capi
                   ` java

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>
Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/Api] Remove Tizen dependency from CAPI set

Since NNStreamer CAPI will be used for Android, Tizen and Linux distro,
this patch removes the Tizen dependency from API set. Detailed works are
as below.

* Support multiple Log environment such as Android, Tizen and Linux
  distro instead of dlog API.
* Use the standard error code instead of that of Tizen.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>
Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/Caffe2] initial commit for caffe2

it will be updated after packaging pytorch properly and example & test also

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Tizen/Api] add common utilities and change name prefix

1. Define new functions to handle tensor data and refactor api functions.
2. Update api description.
3. Add testcases using custom filter.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/Api] change callback param for tensors

Change tensors data struct and set callback with tensors data (sink and appsrc)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Source/AMC] Source element for Android MediaCodec (AMC)

This commit implements a source element for Android MediaCodec (AMC)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Typo] fix a minor typo of comment

fix a minor typo of comment

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Dist] typo fix $ --> %

% is the macro character in RPM/spec. $ is a typo.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] move data files to model directory

Move files to data directory and remove duplicated.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/Api] change name prefix

change function name and param prefix to ml

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] add the model path parser

Since caffe2 require 2 model files(init, prediction) the model path option should handle the complicated input string

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[pytorch] Added pytorch subplugin support

1. Added pytorch subplugin support to run inference of networks
2. Added support to run on gpu for the inference
3. Added test cases for the subplugin

Added a sample file torch saved file used to test the code

V2:
Add pytorch in nnstreamer.mk
install pytorch tests
add nnstreamer-pytorch package

V3:
Disable pytorch for tizen build until its supported

V4:
Disable pytorch tests when disabling pytorch builda

V5:
Corrected variable in spec file
Explanation for enable-pytorch-use-gpu option

V6:
Using mnist based unit-test case instead of imagenet based model
to reduce the model file size in use

V7:
Using input and output properties of tensorfilter than specify in
the model file

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Update .gitignore to ignore files generated by Visual Studio

This patch updates .gitignore to exclude files generated by Visual
Studio for C# APIs.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/Api] basic implementation for single shot

Add base code for single shot model.
Update .spec and add simple testcases.

TODO: update name rules (function names and common util)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Use function instead of API in documentation

API review scripts recommands to use the word 'function' instead of
'API' in documentation as below. So this patch fixes this issue.

Are you sure "API" in this case shouldn't be "function"? If this
sentence refers to a single function, not a set of functions, it should
be "function".

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Fix the broken link

This patch fixes broken links on the doxygen documentation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/Api] add appsink to handle sink event

1. Register the appsink as a sink element. User can register appsink and tensor-sink as a sink element.
2. Move logging macro to private header.
3. Add testcases to test appsink element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/MvNCSDK] Write callbacks for framework invocation

This patch fills the body of the callback function for invoke_NN, which
invokes the framework with the given network model.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[WIP. Tizen/API] Simple Single-Shot Inference Low-Level API

This is quite similar with CoreML/MLModel API, which is the
low-level API for iOS CoreML.

With this, application developers may invoke "inferences"
of a given model with a single data frame without
any pre/post-processings.

The corresponding pipeline will be:

app_src --> tensor_filter --> tensor_sink

with 0/1 framerate.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Typdef] Update doxygen for GstTensorInfo

name entry is not mandatory for all cases.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Meson] update version info

update required meson version to 0.42

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Python] Fix missing initialization of class members

This commit updates missing initializations of class member variables

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Api/Tizen] add testcases for params and element

Add testcases for function params and element switch

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Remove unnecessary todo and TBD items

In order to pass the ACR process, unnecessary information such as `TBD`
or `todo` should be removed in Public header. This patch removes those
things.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Api/Tizen] handle invalid param

check the error case of invalid params.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] change param and enum

change function param names and enums for acr process

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Development of 0.2.1 RC1 started

After the release of 0.2.0, 0.2.1-rc1 is started.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Release of NNStreamer 0.2.0

0.1.3 RC has become 0.2.0 as this version is accepted by Tizen 5.5 M1.

- A lot of security issues and bugs fixed (for Tizen 5.5 M1 release)
- Tizen Public C-API Pipeline for 5.5 M1
- Tizen Public C-API SingleShot Prototype
- Yocto/Openembedded layer released
- ROS sink/src
- IIO support
- Android source draft
- Python custom filter
- Android sample application released
- Tensorflow-lite / NNAPI support

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Api/Tizen] unref object after usage

unref caps and pad data after getting each object

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] add macro for logging

add macros for dlog message and replace all dlog_print()

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] change function name

change function name and indent rule in tizen-capi.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/MvNCSDK] Write callbacks for getting dimensions of in/out tensor

This patch fills the bodies of callback functions, getInputDimension and
getOutputDimensions, which return the dimension information of input and
output tensor of this filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/MvNCSDK] Implement callbacks for open/close of filter framework

This patch implements callback functions for opening and closing
GstTensorFilterFramework for the Intel Movidius Neural Compute Stick
sub-plugin of tensor_filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Conf] add option to enable symbolic link

In nnstreamer ini, add new option to enable/disable symbolic link.
Add internal function to check a library is available with symlink option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] validate sub-plugin data

Check decoder sub-plugins data before registration.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[PythonFilter/Testcases] Add some testcases for Python filter

I've added some existing testcases
- passthrough.py
- scaler.py

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Meson] remove unnecessary option

For opencv test, 'enable-opencv-test' is unnecessary option.
Check dependency of opencv pkg and build libraries when found the dependency.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Unittest] GCC7-GTEST compatibility

GCC7 has stricter rules on signed-unsigned comparison.

Update unit-test cases to avoid gtest errors with gcc7.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Conf] add flag to load path from env-var

Parse ini file and add sub-plugins path from env-var. (default false)
For unittest, add temorary configuration to read env variables.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[PythonFilter/Build] Update build files for Ubuntu/Tizen packaging

Changed ubuntu/tizen build files to support Python subplugin/api

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter/MvNCSDK/Meson] Add a build dependency on NCSDK2

In order to use NCSDK v2 in the Intel Movidius Neural Compute Stick
sub-plugin of tensor_filter, this patch adds a build dependency on
it to the meson build script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter] Add skeleton for Intel Movidius Neural Compute Stick support

This patch adds skeleton code of a tensor_filter sub-plugin using Neural
Compute SDK ver.2 for Intel Movidius Neural Compute Stick support. The
build tree is also revised to include this sub-plugin.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Decoder/Api] remove output type

Remove output type in sub-plugin definition.
Output mime-type depends on sub-plugins out caps.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] subplugin mode only

Support sub-plugins only.
Remove unnecessary private properties and code clean.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder/Api] change function name

change decoder register function / struct name

TODO : refactor decoder main (support plugin mode only)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf] code clean

1. remove unused val error. (set NULL to call glib functions)
2. add function to parse bool from string
3. rename functions and clean-up code

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf/Tensorflow] remove default flag in conf setting

Remove default flag about tensorflow memory optimization.
In tensorflow sub-plugin, read this option using custom-bool function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] function to get element size

Add function to get element size.
Remove variable about element size definition in header.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] function to get element type str

define function to get tensor type string

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Merge/Mux] common functions about time-sync option

In the element merge/mux, add common functions about time-sync option.
Also refactor function name and param to handle sync option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Add 'remarks' information for specific functions

This patch adds the remarks information to properly release allocated
memory space.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Make a verb for the third person singular

To comply with Tizen API Process, this patch makes a verb for the third
person singular in doxygen documentation.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Make a consistency in naming of GStreamer

This patch makes a consistency in naming of GStreamer.
* Normal case: GStreamer
* URL only: gstreamer

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Meson] add minimal warning flag

add minimal flags to prevent build warning

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Repo] move repo sources into one directory

tensor-repo is not a common header and can be built only in repo directory.
Move files about tensor-repo into tensor_repo directory and clean up sources.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] remove typefind function

Remove typefind function.

TODO
Consider to add typefind later in tensor-save/load plugins.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Make API signature as single line

This patch makes the API signature as single line to comply with Tizen
API style. This is requested by Sunggyu Choi who is in charge of Tizen
API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] Update omitted return codes

This patch updates the omitted return codes for Tizen API.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/API] fix the typos in header

This patch fixes the minor typos in header file.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Build/Meson] remove unnecessary flag

Meson v0.50 supports the install arg in configure_file().
If install_dir is set, configured file will be installed.

Also, TEST_TENSORFLOW in rpm spec is unnecessary.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] License Tizen-CAPI as LGPL 2.1

Unify the licences of subpackages.
Fortunately, there are only a few related contributors and
we have re-licensing agreements in CoC as well.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/API] Rename tizen-api.h to nnstreamer.h

The file name "tizen-api.h" is ubsurd for Tizen application writers.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tizen/API] Module group hierarchy fix

NNStreamer Pipeline is in NNStreamer group.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[UNITTEST] Skip the test when there is not tensorflow and lite

We need to skip tests using tensorflow and lite if they are not
installed. So pkg-config is used to identify their installation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Build/Plugin] common plugin registration

Move all element registration to common file. (warning about function prototype)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Subplugin] handle error case

update code to handle error case of invalid params.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Subplugin] check symlink before getting handle

Add code to check symlink before open file handle.
(fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] validate sub-plugin data

1. Add code to validate nn-framework data before registration.
2. Code clean to set filter properties.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] open file with with glib function

Use glib function to open file (fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder/Sub-plugins] use glib to load labels

1. use glib function to load and initialize labels (fix one of security issues)
2. fix exception case when total label is larger then ssd model output

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Repo] handle empty repo data

If repo has no data or hashtable returns null, this makes exception to set lock or signal.
To prevent this exception, check returned data and handle error case.

Exception case when checking 'gst-inspect-1.0 -a'
tensor-repo made an exception.

TODO: Consider to move repo/reposrc/reposink sources into one directory.
Now tensor-repo is not a common source.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Conf/Subplugins] scan subplugins

1. Scan sub-plugins directory and update only so files.
2. Print the list of sub-plugins using gst-inspect in filter/decoder.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/TF] use glib to parse and compare string

use glib to compare and parse strings (fix one of security issues)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Api] move NNFW struct

Mode the struct NNFW definition and properties into filter-api header.
Change function name and code clean.

TODO : update decoder struct and api also.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] init local variable

Initialize variable to handle memory blocks (fix coverity issue)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverity 1050294, 1050288] Dereference before null check

In order to handle the dereference issue, this patch uses g_strcmp0()
function instead of g_str_equal().

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Coverity 1050034] Resource leak

Since gst_object_get_name() returns a copy of the name string and it
should be freed by calling g_free(). This patch adds the omitted
g_free() function to fix the memory leak issue.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Coverity 1051566] Resource leak

After calling g_file_get_contents(), 'file_contents' variable is not
freed so memory leak occurs. This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Unittest] Added tensorflow-lite model data

Add tensorflow-lite model data when test unittest is installed.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Unittest] add install gen24bBMP.py

gen24bBMP.py is requried from some of tests

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Meson] remove unnecessary flag

remove unnecessary flag and clean meson script

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] fix build warning

update sources to fix warning (missing-prototypes)

TODO : add function prototype to register tensor_* plugins

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] pad info struct

define common tensor-pad struct used in split/demux

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO] Added support for other/tensors

Added support for other/tensors when merging of channels
with corresponding test cases

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[SVACE] Fix Issue WGID 414649

Threre is svace issue said:

WID:66310927 Return value of a function 'gst_buffer_get_meta' is
dereferenced at tensor_reposrc.c:338 without checking, but it is
usually checked for this function (20/21).

Add check if the meta is null and arise the error.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Build] remove warning

remove build warning (-Wdiscarded-qualifiers)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[SVACE/IIO] Bugfix of memory leak for iio svace

MEMORY_LEAK.EX Dynamic memory referenced by raw_data_base was allocated
by calling function g_malloc and lost

Fixed with updated memory free

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[SVACE] Fix Issue #414638

There is svace issuse said:
WID:66310552 Return value of a function 'g_slist_nth' is dereferenced
at tensor_common.c:1096 without checking, but it is usually checked
for this function (195/205).

Add Null check.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[UNITTEST] add tensorflow-lite test cases accorting to option

add
 . nnstreamer_filter_tensorflow-lite
 . nnstreamer_filter_tensorflow
 . nnstreamer_decoder_image_labeling

according to enable-tensorflow and enable-tensorflow-lite option.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Test/Valgrind] timer to push buffer

1. add timer to push test buffers into appsrc.
2. prevent unittest locked when appsrc cannot send eos event.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson/Test] increase test-timeout

set unittest timeout to 2 minutes for sink and src_iio stream test.

default 30 seconds may make a timeout error when running unittests in local.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Orc] remove unnecessary code

We don't need to init orc functions.
It will be called when creating new orc program.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Split] code clean

remove warning, change function and val names, and code clean.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Split] exception to get property

check null ptr to get the property tensorseg

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test/Repo] remove unnecessary header

1. In testcase of tensor-repo test, it does not need to include repo header.
2. Code clean tensor-repo src/sink

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] remove warning

update changes to remove warning message

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[SVACE] Addressess memory leaks

Resolved memory leaks given by svace for src_iio code as well as tests

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>