Tensor-src-tizensensor: fill minor gst callbacks

- finalize, start, stop, is_seekable filled.
- Internal static functions are partially filled for future direction.

This should follow #1864 and addresses #1143

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Doc] dimension in converter

update docs about the dimension of each media stream.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean/Test] free log-file str

free log-file name str in clean-dev function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[IIO/test/coverity] Resolve coverity issues

Added more checks coherent with in #1859 and #1863 to another location

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tests/coverity] Fix coverity issues related to gtest main

Add try/catch for exceptions thrown by function calls in main bosy when using gtest

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Dist/Tizen] Enable nnstreamer-ncsdk2

This patch enables the tensor filter extension for Intel Movidius Neural
Compute stick SDK2 (NCSDK2) in Tizen.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson/MVNC] Use functions added after 0.44 and 0.47

As the minimum version required is changed to 0.50.0, this patch
modifies the meson build scriptlet for the MVNC tensor_filter extension
to use functions such as warning() and check_header() added after 0.44
and 0.47, respectively, as well.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Tensor-src-tizensensor: add get/set properties

This adds get/set property methods for tizen sensor extension plugin.

This should follow #1857 and addresses #1143

Changes in v2:
- As suggested by @kparichay, state rollbacks are added
- Do not reconfigure if it's not configured.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CAPI] Add enum for incoming NPU hardware

We will be supporting new NPU hardware along with
its userspace libraries.

Prepare enum spaces for them for future development.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] dimension in testcases

clearly denotes the dimension of in/out tensor in testcases.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_filter/plugin] Update for supporting various accelerators

Added update to support various accelerators for tensor filters
Updated tensorflow-lite nnapi setting based on these accelerators
Added testcases for tensorflow-lite

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[spec/meson] Update nnstreamer package to support c++14 language standard

Update nnstreamer package to support c++14 language standard
This is primarily needed to support armnn tensor filter subplugin
armnn headers use c++14 compliant code

V2:
Updated gcc version check for debian
Minimum version of gcc is now 5.4
(this solves the compatibility of gcc with constexpr of c++11 and c++14)

More info in #1817

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Docs] Updated the mirrors for debian build

Updated the mirrors for debian build in the getting-started docs
This now complies with the list of mirrors used by launchpad of nnstreamer

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tests] Fix Coverity defects in the bmp-to-png tool

This patch fixes unintended-sign-extension defects reported by Coverity
in the bmp-to-png tool.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Common] change return type

change improper return type to get tensor element size/count.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Dist/Tizen] Execute ldconfig after touching .so files

When .so files are added or removed,
ldconfig should be called.

CC: @jaeyun-jung @again4you : Cherry-pick this for 5.5 release.
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CAPI] By default a new nnfw is "not available"

Until we implement its supporting code, assume a new
nnfw is NOT SUPPORTED.

This makes sure that it does not reply "supported" for
arbitrary new NNFWs.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/Caffe2] fix invalid data type

1. fix invalid tensor meta while running invoke callback
2. add debug messages for tensor meta info

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Github] Remove an unintended blank in the template file for PR

This patch removes an unintended blank in the self evaluation section of
the template file for PR.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test/Src/IIO] Fix coverity defects

Fix coverity defects
1. Related to fd resource leak in a macro with assert failure
2. Add more defect fixes already provided in #1859 and #1863 to another location

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single] Enable flexible input dimension for custom filters

Enable flexible input dimension for custom filters
Add corresponding unittest
Add GstTensorsInfo init bug fix in tensor_filter_single.c

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

New Element: Tensor_SRC_TizenSensor, Init

This element fetches data from Tizen Sensor Framework for NNStreamer.

This commit includes the init parts and shows how it will be built and deployed.
Other function bodies will follow in other commits/PRs.

This addresses #1143

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[nnfw] Fix meson

Fix variables in meson.build for nnfw and nnfw-runtime

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-Api] fix invalid sink handle

When trying to register sink callbacks to same sink element, it returns null handler.
To fix this, allocate new handle and add it  into the handle list.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] cleanup sources and fix mem leak in api

1. remove static inline function in header for sam score
2. release handle when called invoke-dynamic
3. return type to validate tensors info
4. add condition to check ncsdk2
5. clean unnecessary code in android native

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-API] make other mediatypes available with appsrc

Currently only 'other/tensor' and 'other/tensors' are available for appsrc with C-API. Since there are many mediatypes(video, audio, text, octet) should be used as a src data, and they cannot be used currently, this commit make them available even a partial restriction.

Signed-off-by: HyoungJoo Ahn <hello.ahn@samsung.com>

[Tests/Src/IIO] Fix Coverity defects in a macro that generates tests

This patch fixes Coverity defects in GENERATE_TESTS_TO_VERIFY_DATA_WO_TRIGGER,
which is a macro for test generation.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Src/IIO] Fix defects about resource leak found from Coverity

This patch fixes those resource leak defects which newly caused by the
previous patch set.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test/Custom-Easy] A basic unit test case.

A basic unit test (checking if it loads successfully) is added for custom-easy.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/Custom-Easy] Custom-Easy Implementation

Developers may insert a custom filter with a single C function.
In the future, with C++ wrapper, we can insert a LAMBDA function
to a NNStreamer pipeline with a single-line of code.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[C-API] Remove unnecessary asterisk on header file

This patch removes an unnecessary asterisk on header file for doxygen.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Support MVNC with Single API

Let C-API users use Intel NCS.

CC: Wook Song <wook16.song@samsung.com>
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Dist] Add Tizen Sensord (sensor-fw) Option

Enable Tizen Sensord (/platform/core/system/sensord.git)

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Typo] fix typos of tensor_converter.c

fix typos of the `tensor_converter.c` file

Signed-off-by: HyoungJoo Ahn <hello.ahn@samsung.com>

[Tests/Source/IIO] Fix defects (CWE-637) found from Coverity

This patch fixes defects related to CWE-637 found from Coverity.

Coverity-scan: CID-263387, CID-263398, CID-263366, CID-263406,
               CID-263410, CID-263372, CID-263390, CID-263361,
       CID-263414

Signed-off-by: Wook Song <wook16.song@samsung.com>

Added a badge to display current coverity defects

This commit is to append a badge to display current defects of Coverity Scan.

**Changelog**
   * Added a badge to display the number of the Coverity Scan defects
   * Added a badge to display the repository size
   * Added a badge to display the Github issues
   * Added a badge to display the PRs

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

[android] Added unittests for android API

Added unittests for android API

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[android] Add flexible dimensions support for Android API

Added flexible dimensions support for Android API

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[caffe2] Do first run with try/catch

First run after configuring the tensor filter with caffe2 framework is now run with a try/catch

Check #180 for more details

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android] prepare native libs for c-api

update build script to provide native libraries using nnstreamer c-api.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Style] There is a file in DOS format!

Applied dox2unix to a file with DOS text format.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/Api] tc with unavailable nnfw

Add testcase.
If tensorflow is not supported, opening tf model (single api) returns not-supported.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] reduce complexity

1. declare function to iterate the elements in pipeline description
2. fix api declaration (params in same line)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[android] Updated README.md

Added updates to README.md for setting up and building nnstreamer API for android

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[filter/nnfw] Unittest for invoke

Added unittest for invoke for nnfw tensor filter extension
Added unittest for get input/output dimensions
Corresponding bug fixes are also added

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Api/Single] replace single implementation

Replace the single api without pipeline, remove old version and clear build script.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[nnfw] Adding nnfw base test for verification

Added nnfw base testing scenario for verification along with a few bug fixes
NNFW repo has been updated to test with cpu backend
However, that patch has not been uploaded to main tizen repo
So, in order to test this patch, clone nnfw repo and build locally
Also, building nnfw repo installs libbackend_acl_cl.so in /usr/lib in emulator
Delete this file to test nnstreamer with cpu backend with nnfw successfully

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/Custom-Easy-C] Prototype of Custom-Easy Tensor Function

This allows to define a custom-filter (C) easily.
This will be especially helpful for C/C++ application writers.
The same approach may be implemented for C#/Java for Tizen.NET and Android app writers.

Change-Id: Id1ff43424283c217c0688e91b919ade99e3cc134
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Doc] Guide: how to write .NET Application

This patch newly adds the guide for writing .NET Application with
Machine Learning APIs.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Doc] Update document

Update document for planned feature.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[CAPI/DOCS] upload the first version of guide doc

this is the first version of guide doc

Signed-off-by: HyoungJoo Ahn <hello.ahn@samsung.com>

[Android/Api] enum for pipeline type

define enum for pipeline and element type, remove string compare.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api] error code for no-mem

define error code for no-mem case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson] Refactor the logic that checks dependencies on numpy

This patch refactors the logic that checks dependencies on numpy.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android] set library name in build script

change the build option 'lite' and add library name with given options.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverage] source path for coverage report

fix the cpp filter-subplugin path for test coverage report.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] More inline functions for flexible dimensions

Added extra inline funcitons to provide easier API for dyanmic input dimensions

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/Custom] Fix compiler complaints

Recent TAOS-CI/Android complains:

.../tensor_filter_custom.c: In function 'custom_loadlib':
.../tensor_filter_custom.c:95:15: warning: assignment discards 'const' qualifier from pointer target type
   dlsym_error = dlerror ();
               ^

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] Include pip include path to find numpy

When numpy is installed using pip, meson couldn't find
numpy/arrayobject.h

I included pip include path to find numpy.

This patch resolves #1805.

Signed-off-by: Injae Kang <abcinje@gmail.com>

[single] unittest for flexible dimension with tflite

Added unittest for flexible dimension with tflite
Added some bug fixes which were missed from previous commits due to commit over-write

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-API] Update comment about tizen_error.h

This patch updates comment about tizen_error.h in the C-API header.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[API] Remove script and patch files no longer needed

After the mock tinze_error.h is added, the script and patch files for
modification nnstreamer.h at build time are no longer needed. This patch
removes those files as well.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[API/Android] Modify build script to use the mock tizen_error header

This patch modifies the build script for Android API to use mock
tizen_error.h, recently added.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Meson] Add missing line continuation

In the meson build script, there are missing line continuations that
break building. This patch fixes this issue.

Related to https://github.com/mesonbuild/meson/issues/4720
See also: https://github.com/mesonbuild/meson/commit/90c9b868b20b11bb089fc5e0c634d5ed76fea0cb

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Sink] Format code style using gst-indent

This patch formats code style of unittest_sink that contains legacy
using gst-indent.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Sink] Add a command-line option to control pipeline's speed

In order to control the speed of tests made of videotestsrc-based single
pipeline this patch adds a command-line option.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Sink] Add jitter between start and stop pipeline

In some low performance machine such as VMs in the cloud, test cases in
unittest_sink are failed since they cannot finish their job until the
pipeline is stopped. To work around this issue, this patch adds jitter
between start and stop pipeline.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-API] Use mock header instead of Tizen dependent one

In order to build C-API for Non-Tizen platforms, nnstreamer.h should be
modified at build time to emulate some Tizen-dependent symbols.
Instead, this patch adds a mock header, tizen_error.h, which emulates
those symbols and includes needed system header. Therefore, it is
possible to build C-API by adding this header to the build tree when
enabling C-API for Non-Tizen platform.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[C-API] Add a platform-dependent header emulating tizen-error.h

This patch adds a platform-dependent header which emulates tizen-error.h
for Non-Tizen platforms. Note that any files under the platform
directory in API's include are filtered out from Tizen packages.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Add a script that generates tarball for source package

For the purpose of filtering out sources which should not be include in
Tizen packages, this patch adds a script for generating source tarball
at build time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single] Fix possible svace issue later

Fix possible svace issue later
https://github.com/nnsuite/nnstreamer/pull/1787#discussion_r337823705

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Meson] update required meson version

Set min meson version 0.50 and cleanup the script.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverity] fix coverity issues

Update code to fix invalid condition and free functions in nnstreamer plugins.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] flexible dimension unittest fail fix

Added fix for flexible dimension unittest fail fix

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single] simplify get_tensors_info in single API

Added simplification for get_tensors_info in single API implementation
input and output tensors info is stored in single API
This patch updates to use that information than extracting the info again from element

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single] Implementation of flexible input dimension

Added implementation of flexible input dimension at the API level
Handling flexible input dimension at the tensor filter extension
scope to be done.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter] Enable C++ subplugin build

Before adding test cases for C++ filter subplugins,
enable build for Tizen/Ubuntu.

Add enable-cppfilter=true for meson build if you
want to use this feature.

Note that the subplugin is not yet fully implemented
and needs further implementation. Thus, we do not have
testcases, yet.

Changes at v2:
- cppfilter is now default
- added isAllocatedBeforeInvoke() virtual function

Change-Id: I5e1942e0b7c957ceb675bd78496041a888978e65
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[pytorch] Do first run with try/catch

First run after configuring the tensor filter with pytorch framework
is now run with a try/catch.

Check #1809 for more details.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[TF-Lite] Added setInputDimension

Added implementation for setInputDimension
This can allow support for flexible input dimensions
The support is limited to only changing dimensions
Data type for the input or the number of inputs cannot be changed with current TF-Lite API
The rank for the input is allowed to be changed if the model allows
The input dimension can return error if the model does not allow dimension to be changed

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Decoder/Sub] install img segment

Add definition to install image segment subplugin.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] update callback description

Update callback description for decoder sub-plugin.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder/Sub] mem error case in img segment

1. handle allocation failure case
2. fix possible mem leak to get the out caps
3. add definition to include img segment in android-libray

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] add option to build with min plugins

Add build option to set target abi and core gstreamer plugins.

For example, to build library with core plugins for arm64
./build-android-lib.sh --api_option=core --target_abi=arm64

This only includes gstreamer core plugins, so library size is under 15MB.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Decoder] Set color to segmented image accoring to label_idx

Each pixel has a probability of 21 labels.
Apply a color of the label with the highest probability.

Signed-off-by: niklasjang <niklasjang@gmail.com>
Signed-off-by: Jihoon Lee <ulla4571@gmail.com>

[Android/Doc] update build guide

Update build guide with prebuilt gstreamer-1.16.1 binaries.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] Added API and skeleton for flexible input dimension

Adding support for flexible input dimension
Added API and skeleton for setting input dimension via single API

V2:
Added more description for retval of ML_ERROR_NOT_SUPPORTED in documentation

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Decoder/Meson] Meson build for image segmentation decoder

In order to add tensor decoder for image segmentation to build tree,
updates meson build script.

Signed-off-by: niklasjang <niklasjang@gmail.com>
Signed-off-by: Jihoon Lee <ulla4571@gmail.com>

[WIP] Tensor decoder for image segmentation

In order to implement tensor decoder for image segmentation,
this patch composes skeleton code for it.

Signed-off-by: niklasjang <niklasjang@gmail.com>
Signed-off-by: Jihoon Lee <ulla4571@gmail.com>

[CodeClean] replace meaningless variables
rename a and b to other more meaningful ones.
a -> from, b -> to

Signed-off-by: Dongwon Lee <dongwon1103@naver.com>

[Typo] Fix typo

This patch fixes typo in packaging/nnstreamer.spec

Signed-off-by: Injae Kang <abcinje@gmail.com>

[CodeClean] combine if statements
combine if statements in tensor_transform.c.
I confirmed it worked well in example_image_classification_tflite.

Signed-off-by: Junsang Mo <junsang.mo@samsung.com>

Add execution bit of gradlew
Added excution bit of gradlew to prevent permission denied error.

Signed-off-by: 이원준 <dldnjs1013@nate.com>

[Security] handle returned value

Check mem allocation failure case and refactor file-close in IIO.

This PR is related with ssms-1016-0006.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tests] Install models/data with tests

Install models/data with tests correctly when needed
Install tizen-capi-unittest with install-test option

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Added the coverity badge

This commit is to append the badge of the Coverity (static analysis tool).
TODO: the Coverity module of TAOS-CI will be soon enabled in the nnstreamer GitHub repository.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

[Security] [Converter] handle text format in chain function

get min block size and use memcpy when input mime-type is text.

This PR is related with ssms-1016-0005.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Security] python lib name format

Define macro for file format and remove macro(preprocess defines) in the function call.

This PR is related with ssms-1016-0007.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] update model in tensor-filter

Add testcase to re-open nn model in tensor-filter using gst-harness.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tests] Locate all models and data together

Locate all the models and data together for easier management

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[CodeClean]remove duplicates in TFLiteCore::getTensorDim
make a variable for interpreter->tensor (tensor_idx)->dims.
replace interpreter->tensor (tensor_idx)->dims with the variable.

Signed-off-by: Junsang Mo <junsang.mo@samsung.com>