[Ext/Decoder] Support face detection models for OpenVino

The output tensor description of face detection model for OpenVino is
the same as that of person detection model for the same framework. This
patch updates the bounding-boxes mode of tensor decoder to support face
detection model by reusing the code for the person detection model
support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single] Bug fix for setting accelerator

Bug fix for setting accelerator in the C-API.
When accelerator is set after the framework, tensor_filter does not know the framework
to check its version and store that information appropriately.
This patch changes the order of setting this information.
However, this bug still exists for pipeline API.

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test/fix] Fix signed-unsigned compare

- Fix build fail issue when build with capi

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Documentation] Revised getting started for better readability.

Do not mix up different build environments.
Seperate documents for better readability.

Added ```rm -rf build``` in spec file to make it consistent with the documentation.
Now, you may do ```gbs build --include-all``` even if you have built in your git repo.

Fixes #2636

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TESTS/CAPI] Seperate negative TC as single test case

Negative TCs has multiple tests, separate them as single test cases.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android] build script with tf-lite 2.3

update tf-lite version info in build script.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SPEC] Exclude device-dependent filters when checking testcase coverage

This patch excludes the device-dependent filters such as OpenVino and
EdgeTPU when checking testcase coverage.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[TESTS/CAPI] Seperate negative TC as single test case - cutom filter register

Negative TCs has multiple tests, separate them as single test cases.
After this commit:
 - Total TCs: 458
 - Positive TCs: 250
 - Negative TCs: 208

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TESTS/CAPI] Seperate negative TC as single test case - element-wise control function

Negative TCs has multiple tests, separate them as single test cases.
After this PR :
 - Total TCs: 450
 - Positive TCs: 250
 - Negative TCs: 200

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Ext/Decoder] Support person detection models for OpenVino

This patch updates the tensor-decoder subplugin, "bounding-boxes", to
support person detection models for OpenVino.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android/NNFW] update version

We will use ONE v1.8.0 from next build & release of Android APIs.

cc. @lemmaa @chunseoklee

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Tools/Profiling] Add a section for NNShark to README.md

This patch adds a section for NNShark to the README.md file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android] fix data conversion error

The result of single-shot invoke is invalid.
Remove tensor data free after converting native handle to data object in single-shot.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Dist/Tizen] Correct typo

This patch corrects typo in the rpm spec file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[nnfw] Support INT64 for nnfw

Some models use INT64 type

Change-Id: I1009cc7ac845c1dbb20fbed36fc68b08f98e81dc
Signed-off-by: Semun Lee <semun.lee@samsung.com>

[Dist/Tizen] Add a sub-package that enables tensor filter for OpenVino

This patch adds a sub-package that enables the tensor filter plugin
for OpenVino support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[TESTS] Fix no assertion test

1. The TCM(test case manager) cannnot check properly the test which is defined as macro.
   Add assert test for unittest_plugins.cc
2. Remove version control test. It's not proper negative test.
3. tensor_filter_custom_easy.in_code_func_01 is False-negative.
   The test case contains assert_* and expect_*, it is detected as no assertion TC.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[TCM] Add config file for Tizen

This patch newly add config_tizen.yaml file for Tizen. Existing
config.yaml is renamed to config_android.yaml.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Android] mem ptr to byte-buffer

In native code, we can get the mem ptr of byte-buffer.
Remove memcopy to convert tensors object and data struct in native.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[android] Set `extractNativeLibs` true to use snpe dsp/npu runtimes

- For  Android Gradle Plugin 3.6.0 or higher the property is set to "false" by default
- This makes snpe sub-plugin unable to use dsp/npu runtime

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tizensensor] Remove code related with timestamp

- Cause GstBaseSrc manages the timestamp, remove related part

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Android/Custom] change method name

Change method and interface name, with C# API implementation.

NOTE:
The example app should be updated also.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android] build script for nnfw

Update build script
- Remove unnecessary so in nnfw prebuilt libs
- Add nnfw-ext option

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/Custom] free tensors-info handle

After converting info object in registration, free tensors-info handles.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SAM] remove global val

SAM report, remove global value in sub-plugins.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Android/AMC] start thread after the construction

Fix exception case, start amcsrc-looper after calling the constructor.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-api] Fix typo

Fix typo from:
nnstreamer.h

Signed-off-by: DaWoon Kim <kim1023123@gmail.com>

[C-api] Fix typo

Fix typo from:
nnstreamer-capi-single.c

Signed-off-by: DaWoon Kim <kim1023123@gmail.com>

[example] Use macro to copy tensor info

Add a macro to copy tensor info

Signed-off-by: Tony Jinwoo Ahn <tony.jinwoo.ahn@gmail.com>

[filter] Buf fix of setting num_tensors to 0

In case, empty string is provided for the property,
tensor filter set_property() sets the number of tensors to 0 in
its private info.

Now with this patch, updating the num_tensors to non-zero is allowed.
However, setting to 0 is not.

Resolves #2594

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tflite] Minimize invoke critical path

Minimize invoke critical path for tflite extension:
1. Cache input and output tensor ptrs out of the invoke to the location where extension
stores input and output tensors info
2. Verification of output size also moved out of invoke as the output tensor memory is
allocated internally by nnstreamer and its size is verified by each of the single API
and by tensor_filter.c for pipeline

V2:
Added bug fix to basic unittests for tflite reload exposed with the changes proposed in this PR

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tflite] Optimization for the invoke critical path

tflite invoke stores evaluates and stores indexes of input and output tensors which is not needed
Remove it from critical path

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tools] Fix typo

Changes for nnstreamer-toolkit.py:
1. Change "Library" to "Lesser" for LGPL v2.1
   Both words are correct, but "Lesser" is more common in v2.1
2. Fix some typo

Signed-off-by: Tony Jinwoo Ahn <tony.jinwoo.ahn@gmail.com>

[nnfw] Optimize nnfw invoke

This patch caches the type for the input and output data tensor
rather than calculating it at every invoke call.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-Api/Src] free function in input data

Remove memcopy in input-data API.
If buffer policy is do-not-free, we dont need to set free function when wrapping the memory block.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] fix exception case

Clear pipeline bus before unref the pipeline.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[c-api] Add unlikely for improved branch prediction

Add G_UNLIKELY at all the error checks for invoke to improve branch predicition

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single] Use pre-computed input tensor size

Use pre-computed input tensor data size for validation than computing it in each invoke call

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single] Reduce wrapper memcopy for invoke

Reduced wrapper memcopy for invoke by typecasting ml_tensors_data_s->tensors to GstTensorMemory *
This reduces invoke latency

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-api] Fix typo

Fix typo from:
nnstreamer-capi-pipeline.c

Signed-off-by: DaWoon Kim <kim1023123@gmail.com>

[Single] Add unittest to measure invoke latency by single API

Added unittest to measure the invoke latency by single API.
This latency is measured for tensorflow-lite and nnfw-runtime filters.
The latency is measured by running the invoke with single API and running
the invoke over the same data with the same model using filter API directly.
The difference in average execution time is reported as the latency introduced
by the single API invoke per call.
The invoke is called 1000 times after a warmup where the output is also verified.

V2:
Direct latency is the invoke duration of the library call
Latency induced by the SINGLE API is inclusive of the overhead by the API and the extension
Overhead induced by the extension is the overhead by the invoke function in the extension

V3:
Sleep for 30sec between consecutive latency tests for different frameworks for cooldown

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-API] removing the hard coded waiting time

Currently the waiting time for the state change at the destroy moment is fixed with 50ms even when the state change is not called. This PR suggests changing it with `check-and-wait` loop with a new flag

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Test] add test for single-invoke

mark negative cases and add new testcases for single-shot invoke function.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] Fix signed-unsigned comparison

- For gtest EXPECT_EQ, change constants to unsigned value

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Dist/Tizen] Package unittests

Add packaging of unittests for Tizen distribution

**Self evaluation:**
1. Build test: [x]Passed [ ]Failed [ ]Skipped
2. Run test: [x]Passed [ ]Failed [ ]Skipped

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

C-API/ml_pipeline_src_input_data new enum for events suggstion.

In order to give events to appsrc via ml_pipeline_src_input_data,
I'd like to suggest to use "policy" argument to keep "data"
uncomplicated.

We can simply add non-policy enum values to have general
event support; if you need some value for an event, you can
keep using "data".

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test/tizensensor] Add unittest for tensor_src_tizensensor

- Add negative TCs with invalid sensor, unsupported sensor

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Revert "[Android/NNFW] change nnfw version"

This reverts commit 5eefd5119550bbd19c351ecfb04bef1d589b72bd.

PM has decided to keep using 1.6.0 for this release.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[filter/single] Optimize invoke path for tensor filter single

Tensor filter single performs various check on invoke
However, these checks are done on properties which remain static after open and first invoke
So, these checks are now performed on the first invoke only
Further, some checks were being performed multiple times, which have now been removed.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-API] Use typedef enum for feature_state

For readability, use typedef enum.
https://github.com/nnstreamer/nnstreamer/issues/2574

Signed-off-by: Tony Jinwoo Ahn <tony.jinwoo.ahn@gmail.com>

[Android/NNFW] change nnfw version

use nnfw 1.6.1 for android build and release.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[C-Api] fix typo

add line comment and missing dot in api description.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[example] Fix typo

Fix typo from:
nnstreamer_customfilter_example_average.c

Signed-off-by: Tony Jinwoo Ahn <tony.jinwoo.ahn@gmail.com>

[Test/CAPI] Update the testcase of element-wise control function

This patch updates the testcase of element-wise control function since
the negative testcase does not have a negative code.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] int32/uint32 get/set functions support enum type.

This patch makes int32/uint32 element-wise getter/setter functions
support Enumeration type. It is much natural and easy to use for
developers. I also add related test cases.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[tensor] Update GstTensorMemory coherent with ml_tensors_data_s

One of the efforts to minimize API latency is to avoid creating data wrappers in
API and internally in nnstreamer and avoid its copying. Rather just interpret
the API data structure as internal definition.
This requires internal and external structures to be coherent.
This commit makes GstTensorMemory coherent with ml_tensor_data_s by removing
`tensor_type type` from GstTensorMemory.

type can be remove from GstTensorMemory as GstTensorMemory is used internally
and its usage is always supported with GstTensorInfo which contains the type information.
Correspondingly update the existing elements and extensions which use GstTensorMemory
to use the GstTensorInfo type information.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ext/python] Bug fix for python extension

setInputDimension in python extension updates only the number of tensors that all the info
Added bug fix to update all of the info

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android] remove java in native libs

For native developers, remove gstreamer java file in native libraries.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Doc] Add edgeAI example description

Add edgeAI example description.
1. Image classification
2. Text classification
3. Image classification

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[CAPI] Fix the public header issue for doxygen

This patch fixes the public header issue for doxygen, which is requested
by Sunggyu Choi.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] add the EOS push at the destroy moment

for the specific situation, tensor_mux(refresh), the EOS buffer has to be inserted to make the pipeline state as NULL

Signed-off-by: Hyoung Joo Ahn <hello.ahn@samsung.com>

[Android] params to init nnstreamer

Add condition to check params when initializing nnstreamer.
Also, single-shot does not need gstreamer initialization. Add feature for this.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[single] Optimize invoke critical path

Remove setup gstTensorMemory in each invoke call
rather, pre-set the tensor memory when input dimensions are set
and re-use that setup tensor memory wrapper each time

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Test/CAPI] Update testcases of element-wise control functions

This patch updates testcases of element-wise control functions to comply
with Tizen API Design Guideline.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Modify element-wise control functions

To comply with Tizen API Design Guideline, this patch use single
key-value pair for ml_pipeline_element_set_property and
ml_pipeline_element_get_property function.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

Fix Ubuntu CI Build Error

Having header inclusion with incorrect orders
may incur errors with older gcc of older Ubuntu distro.

You shouldn't omit headers only because they may be included
indirectly by other headers.

Change-Id: Iaf4a096e08ee27d431fad85052edbae21470114f
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[single] Memory leak bug fix

Add memory leak bug fix
When output ml_tensors_data_h fails to allocate, the already computed output must be freed before return

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Meson] dependency for filter subplugin

1. For nnfw deprecated function, find symbol in header. (cannot find function in library)
2. Remove unnecessary dependency to check pytorch version.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Test] testcase to convert multi tensors

add new testcases to convert byte stream to multi tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Converter] bytes to multi tensors

parse the list of input info (dimension and type), and convert byte-stream to multi tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Common] function to get data size

Add new function to get data size from tensors info.
If index is negative value, this will return total data size of tensors.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[CodeClean] remove redundant space

Remove redundant space in source file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[tizensensor] Add tolerance for sensor data check

Ease the future timestamp check:
- At the check time, the timestamp of event could be the "next" sample
- Add tolerance amount of sampling rate
- Change Error to Warning

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TCM] Add yaml config file for android

TCM(Test Case Manager) requires config.yaml file.
The config file is written for android API test.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Android/Single] allow 0 timeout

Now C-API allows setting 0 timeout val, change condition to set timeout value.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

CAPI/Single: Optimize no-timeout mode run-time performance

Do not invoke in a secondary thread, but ivoke in
the primary thread directly without CV so that
there is minimized latencies for single-invoke calls.

This has refactored the invoke-output-process routine.

This follows-up #2551

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[unittest] Bug fix for c-api unittest

Bug fix for c-api unittest when tensorflow-lite is not present
Bug of destroy info without create in invoke_01

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Test/Fix potential macro bug

What if you do:
```
if (WHATSOEVER)
  _print_log (MESSAGE);
else
  do_something ();
```

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Remove trailing whitespace

Signed-off-by: Tony Jinwoo Ahn <tony.jinwoo.ahn@gmail.com>

[Protobuf] Fix protobuf util function header file

Fix protobuf util function header file.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[Build] Support VD product build system

This patch supports the VD product build system.
`enable_tizen_privilege_check` and `enable_tizen_feature_check` are
newly added and below features are disabled.
* Privacy / Privilege Manager
* Resource Manager
* ProtoBuffer / FlatBuffer
* Test since python-numpy is not supported

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[tizensensor] Let the element make use of GstBaseSrc

- Remove timestamp in `_create()` and `_fill()` and let BaseSrc do timestamp
- Remove `_get_times()`
- Init debug category
- Add query for latency
- set_interval for tizen sensor_listener

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_sink] Add debug log for timestamp in tensor_sink

- Add macro for logging timestamp in render_buffer

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Debian] Fix protobuf lib install path

Fix protobuf util lib install path

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[single] Enable setting timeout to 0

Enable setting timeout to 0
timeout 0 now has significance and re-setting timeout to 0 should be allowed

Related issue: #2568

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

README: update example style and add more examples

- Restyle example lists of README.md
- Add "edge-ai" and "products" category

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Ignore src iio unusual cases test

Unusual cases test fails occasionally when getting state of the pipeline.
I removed the previous patch and modified it to ignore this test in Ubuntu.

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[caffe2] Warning fix based for updated caffe2 v1.6.0-rc1

Update caffe2 extension to remove warning based on api update
for version 1.6.0-rc1

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[pytorch] Update pytorch extension for pytorch v1.6.0-rc1

Update pytorch extension for pytorch v1.6.0-rc1
Also pytorch and caffe2 headers do not follow redundant declarations
So, remove redundant declaration warning flag when compiling with them

V2:
Check version of pytorch from pkg-config
Update extension based on version number due to api update

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Test/CAPI: Type mismatch warning

ret_sync_mode is unsigned.
If it is compiled with more strict compilers,
it emits errors. Fix it by adding U.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Debian: add flatbuf/protobuf packaging

nnstreamer-flatbuf and
nnstreamer-protobuf will be available for Ubuntu/Debian.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Dist/Debian] Add a sub-package that provides the openvino filter

This patch adds a sub-package that provides the tensor filter for
OpenVino to Debian/Ubuntu.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Api/Single] default no timeout when invoking model

If user does not set the timeout, single-invoke function will wait for the output till the invoke is done.
This requires another ACR.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

Fix comments in SingleShot.java

Fix comments grammatically correct by adding subject, "this".

Signed-off-by: Park Hyeoung-Min <phm0127@gmail.com>

[Tests/C-API] Add test case for abnormal accessing of callback function

This patch newly adds a test case for abnormal accessing of callback
function when calling both `ml_pipeline_element_get_handle()` and
`ml_pipeline_sink_register()` functions.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[C-API] Bugfix for abnormal accessing of the callback function

If the handle of sink element is fetched by calling both
`ml_pipeline_element_get_handle()` and `ml_pipeline_sink_register()`
functions, segmantation fault occurs because of abnormal accessing for
callback function. This patch fixes that bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[SPEC] Cleanup spec file

* Fix the wrong definition of flat buffer
* Add `nnfw_support` flag to control NNFW even though ARM architecture

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/NNFW] change nnfw api

1. Change nnfw api to set input info.
The function apply_tensorinfo will be deprecated soon.
2. Remove unnecessary definition about max rank of nnfw.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[Api/Single] init status code before invoking

In invoke thread, init status (error-none) before calling the invoke callback.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>

[SAM/CodeClean] remove global val

sam report, remove global val in openvino plugin.
update script to install common header file.

Signed-off-by: Jaeyun <jy1210.jung@samsung.com>