[Api/Tizen] Tizen internal API to construct pipeline

Add Tizen internal API without checking the permission.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] Minor updates for modularity

Added minor updates in C-API single shot implementation for improved modularity

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android/Test] add tc to check max local ref

Add aging test to check local ref table overflow.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Sub] already loaded case

Check returned value when the nn model file is already loaded.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/Api] fix invalid params to parse mm info

Add missed param mm-handle to get video cam src element in Tizen.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[API/Tizen] Remove version number from libcapi-nnstreamer.so

This patch removes the version number from libcapi-nnstreamer shared
object.
* libcapi-nnstreamer.so.0.3 -> libcapi-nnstreamer.so

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Tizen/nnfw] Add open/close callbacks for tensor_filter

This validates integration mechanisms for nnfw-runtime of Tizen.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[android/build] Update build script

Update build script to be directly used by CI for building

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Code Clean] Make example launch line in remark follow convention.
1. Move 'tensor_mux name=mux ! fakesink' from front to back.
2. Add \ for readability
3. Add missing regular expression ']|'

Signed-off-by: niklasjang <niklasajang@gmail.com>

[Filter/C++] Skeleton header

A few users have requested the ability to write C++ custom filters
especially for OpenCV usage.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Api/Tizen] internal function to ignore permission

add flag to ignore the permission (supposed tizen internal)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] Increase default timeout

Increase the default timeout to pass the test case on a slow machine/not fully
optimized tensorflow-lite. Also, as the running time for tf-lite test case in
aarch64 is over 10x compared to armv7l, higher defailt timeout is better.

In unit-test, increased the corresponding default timeout as well.
Further, when running many test cases in parallel, default timeout is scaled
with number of parallel runs.

Solves #1717

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/nnfw] Tizen-nnfw skeleton

Skeleton code for Tizen-nnfw is added.
New nnfw of Tizen has its own interface; thus, we can no longer
rely on tensorflow-lite/nnapi for this.

Changes v2:
- Enabled nnfw by default for Tizen
- Applied jaeyun's comments (meson script style fix, nnfw subplugin explicitness of properties)

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Release of nnstreamer 1.0.0 (1.0 RC2)

This is 1.0 RC2.
With Tizen Official Release, 1.0 stable will be released.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] build fail in 18.04

missed typecast in single-shot, fix build error.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Coverage] remove meson private folder

remove meson-related directory in coverage report.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Test] tc fail case

Sometimes testcase failed with pipeline state NULL when stopping the pipeline.
Add sleep time before closing the pipeline.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tests] Make tool scripts written in python be compatible with python3

There are several platforms which do not support python2.7 by default
anymore. To prepare this issue, this patch revises all python scripts in
tests to be also compatible with python3.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/Test] update testcases

1. update testcases for each java class
2. add flag to generate coverage report

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[API/Tizen] Update the comment for Tizen API

When pipeline string directly accesses the camera or recorder device of
the Tizen, appropriate privilege should be written on configuration
file. This patch new adds the 'remarks' comment for this privilege.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[svace/iio] security fixes related to sscanf

1. Fix security issue related with sscanf. Use g_ascii_str instead
Issue: WID:7938408 Use of vulnerable function 'sscanf' at tensor_src_iio.c:690. This function is unsafe.
Issue: WID:7938409 Use of vulnerable function 'sscanf' at tensor_src_iio.c:723. This function is unsafe.
2. Add comments for switch cases where breaks have been skipped
Issue: Missing break in the switch case

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Api/Tizen] check cam privilege

Check camera and recoder privilege for each src element.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tests/TFLite] Run NNAPI tests only on Tizen

NNAPI tests are only needded in the case of Tizen. Although these tests
are not harmful on the other platform, this patch makes those NNAPI
tests run only on Tizen.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/RepoDynamicity] Support running tests on Yocto

As a workaround for running tests on Yocto, this patch uses the default
installation directory excepting that the tests are running at the build
time or the directory where the test binary is located is provided.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Security] handle return value

Fix svace issues, check returned value and file descriptor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Sample] move sample app to nnstreamere-example repo

Remove sample app in this repo.
I newly uploaded the sample code to use Android API in example repository.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Test] script to run unittest

Update script to run the unittest on target device.

Note that, the testcases are android instrumented test which requires the target device.

Cmd to build and run test: ./build-android-lib.sh --run_unittest=yes

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Api] add readme to build api

add readme to build android library using the script.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tests/CustomFilters] Use default installation direcotory

Tests which require custom shared library does not consider the
tests using the unittest package (which means not the build time test).
They uses hardcoded path to indicate the location of the shared library.
In order to fix this problem, this patch makes the test use the default
installation directory when the test is running using the unittest
package.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single-new] Memory leak bug fix in error cases

Added memory leak bug fix in error cases running

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android/Api] update condition

1. update condition to check the given params.
2. update api description about ml model.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single-new] Remove dependency over pthread

Remove the dependency over pthread
Use glib functionalities instead

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android/Api] fix typo

Fix typo in tensor-info class and update related sample code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Test] base code to run instrumented test

Add base code to run Android instrumented test on the target devices.

TODO add testcases for each java class

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[ReadMe] Correct typo in bullet items under Getting Started

This patch corrects typo in bullet items under the Getting Started
section.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CAPI/New-Single] Code Clean

For the readability and to prevent mistakes in the future,
- Apply symmetricity to lock/unlock, hide magic lock from programmers
- Apply common ops into macro

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] remove warning message

function declaration to avoid build warning (missing-declaration)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tests/Plugins] Avoid warnings caused by a GCC bug related to gtest

A GCC bug [1] might cause warnings related to 'conversion-null' when
using googletest macros with !FALSE as arguments. Therefore, in the case
that Werror is true, the build would be broken by this bug. To avoid
such situation, this patch replaces EXPECT_EQs in the plugin unit tests
with EXPECT_TRUE or EXPECT_FALSE.

[1] https://github.com/google/googletest/issues/322

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single] Thread safety bug fix

Added bug fix for thread safe usage
Single shot API use single handle lock for making all its API call thread safe
However, the call to close the API destroys the handle itself making the
call to close not thread safe
Added a global lock to make closing of handles thread safe

Further, all the single handle locks are acquired inside the global lock
to ensure that single handle is not closed while the magic has been verified
and the local lock is not acquired

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Clean/SAM] add common functions

1. define common functions to reduce complexity
2. condition to print log message about nnapi

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[build] Added cleanup after android/ubuntu build

Added cleanup of patches after android/ubuntu build
Changed relative path of files to patches in patch file

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[build] Use patch file for modification in build

Use patch file to modify the nnstreamer.h when building for non-tizen systems

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Readme] Update deployment status

We now release macoS and JCenter binaries.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Build] cleanup script

Fix typo and cleanup build options.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Config] remove unnecessary lines

Remove unnecessary lines about tensorflow optimization.
The key of mem-optimize was removed and these lines are now unnecessary.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Single] Added unittests

Added more unittests for single-shot API testing
1. Multiple runs in parallel with varying timeouts
2. Changing timeout/closing the handle while calling the API in a different thread
3. Closing the handle multiple times
4. Check valid result after increasing the timeout, when earlier it was timing out

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter] add common functions

Add common functions for tensor-filter and filter-single.
1. add struct for common property
2. reduce duplicated code of tensor-filter

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Sub] use glib-mutex

remove pthread header and use g_mutex instead.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] restricted elements in Tizen

Update the restricted elements in Tizen.

Restricted elements
- capsfilter input-selector output-selector queue tee valve
- appsink appsrc
- audioconvert audiorate audioresample audiomixer
- videoconvert videocrop videorate videoscale videoflip videomixer compositor
- fakesrc fakesink filesrc filesink
- audiotestsrc videotestsrc
- jpegparse jpegenc jpegdec pngenc pngdec
- tcpclientsink tcpclientsrc tcpserversink tcpserversrc udpsink udpsrc
- xvimagesink ximagesink evasimagesink evaspixmapsink glimagesink (mmfw ini)
- theoraenc lame vorbisenc wavenc volume oggmux avimux matroskamux (mmfw ini)
- v4l2src avsysvideosrc camerasrc fimcconvert (mmfw ini)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] remove duplicates

remove duplicates and unnecessary code.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single] Static linking with unit-test

Updated meson to do static linking with unit-test executable
This resolves #1653

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android/Api] add timeout in single-shot

Add method to set the timeout in single-shot API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Single] invalid condition to check file extension

1. Fix invalid cond to check file extension.
2. Add proper log message and error code to set tensors info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[single-shot] Added support for timeout in single-shot

Added support for timeout in new single-shot API implementation to
comply with the existing single-shot API

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Api/Single] clear old buffer

1. Add mutex-lock for internal process.
2. Clear old buffer of appsink before pushing new buffer to appsrc.

When old buffer received in appsink after timeout, next output of invoke() may be the previous result.
To prevent this, clear old sample of appsink before pushing new buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] update script to release

Add dependency and args for jcenter release.

To upload NNStreamer library, run the script with bintray user name.

./api/android/build-android-lib.sh --release=yes --release_version=$release_ver --bintray_user_name=$user_name --bintray_user_key=$user_key

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Dist/RPM] Added library required by devel package

Added dependency of devel-capi on capi

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single-shot] Added README.md

Added README.md with small details on the source files and
comparison on the single-shot APIs

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single-shot] benchmarking the latency

Added benchmarking the latency and running times in the test code
This compares old vs new singleshot api - showing reduction in latency and running-time

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Doc] Update the component-description

This document was way too obsolete. Update it with recent info.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[single-shot] Completion for new single-shot API

Completed the implementation for single-shot API without GStreamer
Added a separate binary for this API
Added remaining functions in tensor_filter_single.c
Added another test run in meson and nnstreamer.spec for testing of this new implementation

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[TEST] Fix nnapi test

Fix nnapi test (#1647)

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Test] Add decoder-pose unit test

Add a fail case and a simple-run case of decoder-pose.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android/Api] change package name

1. Change package name of Android API. (com.samsung.android.nnstreamer > org.nnsuite.nnstreamer)
2. Change directory structure (src > src/main)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[README] Add a link to the 'getting-started' manual for macOS

This patch adds a link to the 'getting-started' manual for macOS.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Documentation] Add 'getting-started' for macOS

This patch adds a 'getting-started' manual to guide for using NNStreamer
in macOS. Note that this is just an initial draft.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Fix/Test] nnapi test cases breaks non-Tizen-arm builds

With SSAT updates, this bug has been exposed:
- New test cases of nnapi-tensorflow-lite require nnapi. However,
there are systems that do not support nnapi.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Api/Tizen] base code to convert element in pipeline

1. Add new file for Tizen dependent code.
2. Add base code to check predefined element name in pipeline description.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] string util to replace str

Add util function to replace string.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] unnecessary log while runng android-lib

1. add condition to check file path or tensor name
2. remove unnecessary res file in android

This will remove unnecessary log-print while running java custom-filter and tf-lite model.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[macOS/Tests/CodeGen] Add extra pkg-config path

This patch adds extra pkg-config path for macOS to the codegen test
script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests] Use SO_EXT instead of hard-coded 'so'

This patch replaces the hard-coded filename extension, 'so', in the
custom filter, repo_lstm, repo_rnn, and codegen test scripts with
SO_EXT defined at ssat-api.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TESTS] add test cases for nnapi properity

Add test cases for reading nnapi property in tensorflow lite example.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[single-shot] Added open/close for the new single-shot implementation

Added open/close for the new single-shot implementation
New single-shot directly uses tensor-filter subplugin to avoid gstreamer overhead
Get input/output info is also added
The API for the new implementation is not changed.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Dist/RPM] devel required library.

In order to use capi-devel, you need capi.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API] Fix the errors in package config file

There are wrong include path and link option in CAPI PC file. This
patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Release of 0.3.0

Please do SR with this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Prevent unit-test errors in slow systems

In slow systems such as QEMU-ARM, a few test cases fail often.

- Add dynamic timeout for pipeline start
- Add mutex for sink callbacks

Changes in v2:
- Loop of wait_for_start runs if it's READY || PAUSED
- Wait 50us right after start() before state-checking.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Android] update script to remove warning

Clean up build script and remove warning about duplicates.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[filter_single] Common functions between tensor_filter and tensor_filter_single

Simplified common functions between tensor_filter and tensor_filter_single
Added more implementations in tensor_filter_single

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[filter_single] Added tensor_filter_single prototype

Added prototype for tensor_filter_single
tensor_filter_single is going to form the backend for singleshot api
to minimize the latency. This is made to be independent of GStreamer,
supporting all the existing tensor_filter plugins

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/Transform] code clean

1. remove unnecessary code to get output size in tensor-filter.
2. set null to find operator in tensor-transform.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Single] invalid condition to check model

1. validate model path before checking the file extension.
2. set pre-defined so extension for custom-filter.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TF-Lite] Add terminating null

The string list requires a terminating null.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TESTHUB] Append 'gtest_output' for reporting unittest results to TESTHUB.

This commit appends 'gtest_output' into .spec file to generate .xml gtest output files.
These xml files are reported to TESTHUB (for daily x86_64 build).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Filter] Fix svace issue

If the parameter hw of constructor is NNAPI_UNKNOWN, the member variable
accel is not initialized. This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Doc] fix invalid extension

fix invalid file extension in transform header

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] update build script

Fix duplicated and unnecessary code with the updation of nnstreamer features.
1. remove src-iio in android-jni (currently excluded to register the element, so unnecessary.)
2. remove option enable-nnfw in .spec (default false)
3. duplicated feature definition for tizen

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Single] set timeout

Add new function to set the timeout to wait for the output.
The function try_pull is supported from gst 1.10, check gst version and return error code if is not supported.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Tizen] function to get data size

Current function returns total byte size of info handle.
Change this to get the byte size with data index.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Tizen/API] Fix the wrong boilerplate text

This patch fixes the wrong boilerplate text. (Apache -> LGPL-2.1)

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/Decoder] sub-plugins extension

Check sub-plugins file extension after supporting mac.

Wook defined the file extension for build target. With this, set sub-plugins name in filter/decoder.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[FILTER] add nnapi property to handle

Add nnapi property in the tensor_filter element.
Use nnapi=(true|false)(:(cpu|gpu|npu)) option for tensor_filter
element. For example,

gst-launch-1.0 --gst-plugin-path=${PATH_TO_PLUGIN} filesrc
location=${PATH_TO_IMAGE} ! pngdec ! videoscale ! imagefreeze !
videoconvert ! video/x-raw,format=RGB,framerate=0/1 ! tensor_converter
! tensor_filter framework=tensorflow-lite model=${PATH_TO_MODEL} nnapi=true:gpu ! filesink location=tensorfilter.out.log

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[filter plugins] Remove dependency on gst headers

Remove dependency of tensor_filter plugins and tensor_subplugin on gst headers

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tests/Common] Use macro as file extension of shared object

This patch replaces '.so' with a macro that is defined as file
externsion of shared object according to the platform.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[macOS/Conf] Support .dylib as a file extension of sub-plugins

This patch adds .dylib as a file extension of sub-plugins to support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[macOS/Tests] Let unit test cases for tensor_sink work on macOS

This patch updates unit test cases for tensor_sink to make them work on
macOS.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[macOS/Meson/IIO] Exclude tensor source plugin for Linux IIO

Linux IIO is not compatible with macOS so that this patch excludes
tensor source plugin for Linux IIO from build tree.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Support macOS

In order to support macOS, this patch updates the meson build script in
the source root directory to pass macro definition, '__MACOS__', to the
compiler.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[nnfw] Adding nnfw support with nnapi

Support nnfw. If enable-nnfw is on, it will use nnfw.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>