[Tests/Models] Add Google LeNet model pre-compiled using NCSDK2

This patch adds Google LeNet model pre-compiled using NCSDK2 and its
label file to the test models directory.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Filter/MvNCSDK2] Add a basic test case

This patch adds a basic test case for the most basic execution flow
testing.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Filter/MvNCSDK2] Update meson.build to generate mock library

This patch updates the meson build script to generate a dummy shared
library that mocks libmvnc.so.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Filter/MvNCSDK2] Add a helper class for unit testing

This patch adds a helper class for unit testing of the mvncsdk2 tensor
filter.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[single/caffe] Enable armnn in single-shot API

Enable support armnn for in single-shot API
Added test with caffe and tflite models

resolves #1817

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor_filter] Add unittest for data layout

Add unittests for added data layout property

V2:
Data layout can now be changed until the framework is opened
Once framwork is opened, updating the layouts will be supported later

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[tensor_filter] Support data layout for tensor

Data layout added for tensor_filter in GstTensorFilterProperties
Four data layouts are supported
- ANY - unknown does not matter
- NHWC - referred as channels last
- NCHW - referred as channels first
- none - doesnt fit with above options
These data layouts can be different for each other/tensor in other/tensors
Layout is taken input as a string, and then parsed for each tensor
This layout is stored in tensor_filter element itself to be used by its subplugins, and not passed to other elements in the pipeline

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/MvNCSDK] Revise error handling for unsupported API version

This patch revises the error handling mechanism for the API version of
MvNCSDK not supported by NNStreamer.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Fix] Skip duplicated paths from multiple conf sources

This commit skips duplicated paths from multiple conf sources.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Style/C++: .clang-format suggestion for C++ code.

This is supposed to be applied to .cc and .hh files.

This prepares #2044

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Style/C++: use .hh extensions for C++ headers

Let's C++ headers not comaptible with C use
.hh as their extensions.

This prepares #2044

Changes in v2
- Applied changes in the master branch.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Common/Android] add version info

1. add new function to get the NNStreamer version string.
2. get nnstreamer version string in Android method.
3. print log about version info when initializing the nnstreamer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Spec] Minor bug fix in spec

Add minor bug fix in spec

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Test/Cpp] cleanup build script

prevent build warning with googletest static library.
1. separate cpp sub-plugin and gtest
2. remove unnecessary dependency in meson

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Transform] copy tensor-info for negotiation

For caps negotiation, copy tensor info first and update necessary meta.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Fix] add type checking for gst value in tensor_converter.c

This commit adds type checking for the gst value, supported_formats.
When an unsupported colorspace is used, gst_value_list_get_size() has
generated unnecessary warnings.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] input memory to invoke filter-plugins

Set max array for input and output tensor-memory to prevent out-of-index exception.

Invoke-callback requires the array of tensor memories.
Now this does not make an error, but later if we try to generate another testcase with multi-tensors, it needs to set the array of tensor data.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build/Android] remove unnecessary log to run android

Currently android library does not use the configuration file.
Check null string before validating the conf file.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] default build option of python

disable default build option of python.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] Rename internal API: getTempFilename

Rename _get_temp_filename --> getTempFilename as it has
become an internal API.

Suggested-by: Dongju Chae <dongju.chae@samsung.com>
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Test/C++-custom-filter: Add unit test cases.

Unit test cases of C++ custom filters

Positive cases: 3
Negative cases: 6

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] Add internal APIs for unit tests

1. Pipeline status waiting loop
2. Get temp filename

Those functions are from unittest_sink, which will be used
by other unittest cases (c++ custom filter test cases)

Chnages v2: updated meson script for Ubuntu 16.04 errors.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Split] Fix a build warning incurred by a may-be-uninitialized variable

This patch fixes a build warning incurred by a may-be-uninitialized
variable.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Fix: load the configuration even if there is no .ini file

Even if there is no .ini file, we need to load up the
subplugins from the default hardcoded paths or
the paths given with envvars.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tests/Filter/EdgeTPU] Revise pipeline strings

'videoformat' in the pipeline strings seems to be an invalid or illegal
GST element so that it is replaced with 'videoscale'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Android] custom-filter and amcsrc for native build

register custom-filter and amcsrc for native build.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson] Make 'enable-edgetpu' depend on 'enable-tensorflow-lite'

In order to handle the case that 'enable-edgetpu' is set to 'true',
meson requires a variable, 'tflite dep', which is a declaration of a
dependency on TensorFlow-Lite. Therefore, the 'enable-edgetpu' option
alone cannot properly set the feature. This patch fixes this issue.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Keep consistency in the private member variable names

In order to improve the readability of code, this patch makes the names
of the private member variables use a prefix, '_', to keep consistency.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Support the MYRIAD plugin

This patch enables the MYRIAD plugin of the OpenVino framework in order
to support Movidious Neural Compute Stick 1 and 2.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] bugfix when checking that the fw is already opened

This patch fixes a bug at the checking that the sub-plugin framework is
already opend by adding a missing mandatory condition.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Revise mechanism for setting up 'accelerator'

This patch revices the existing mechanism for setting up the
acceleration device.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Correct typo in an error message

This patch corrects a typo in an error message.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[pytorch] Enable setting accelerators

Enabled setting of accelerators
Enabled getting supported accelerators

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter/C++] Add the basic test case

The most basic execution flow is tested.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/C++] Complete implementation of C++ filter.

With C++ filter, application authors may supply C++ classes as tensor-filters.
They may provide C++ classes as an independent .so files for other application
authors as well.

v2: fixed build errors.
v3: added "prop" property.

@TODO: test & test
@TODO: usage manual

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Meson: setup configure values before executing subdir

We now have a subdir that requires to read the configuration values.
Thus, configure values before calling subdirs.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Api] typo correction

typo correction in C-Api headers.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson] Disable external filters for pytorch, caffe2, tf-lite by default

This patch disables by default the tensor filters to support external
neural network frameworks such as pytorch, caffe2, and tensorflow-lite in
the meson_options.txt file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist] Use explicit options to enable external filters

This patch uses explicit options to enable or disable external tensor
filters for tensorflow-lite, caffe2, and pytorch, which are enabled by
default in the meson_options.txt file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[armnn] Add caffe support with armnn

Add caffe support with armnn
Add corresponding unit-test
Tested with CPU and GPU backend on the device

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test/ext] Add condition for function to exist

Verify that the function is available before running tests for that function
Added the above verification for getInputDimension and getOutputDimension
Further enhanced invoke test to run successfully if the getDimension exists

V2:
Added gst_tensors_info_free to catch memleak of tensor_info->name

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[nnfw] Verify input model filename

Added verification of input model filename
This is performed by parsing the metadata/MANIFEST file to be provided with the model
The first model in the list of models should be the model to be run by nnfw
json-glib is added as dependency to allow json parsing
Corresponding unittest is also added

Resolve: #1981

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Test] stream testcase with multiple custom-filters

add testcase with multiple custom filters.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/AMC] fix build warning

fix build warning in android amc src.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Spec] Update version 1.2.0 to 1.3.0 of rpm spec

Resolve version mismatch of .spec with current dev version 1.3.0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Tests/FilterExtCommon] Fix test case failure

This patch fixes failure in the test cases generated from
unittest_tizen_template.cc.in. This is a bug of [1]

[1] cbb65b01278b39789e69c6de888b3e0e78b3e5db

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Spec] cleanup build option

move to proper build option and cleanup unnecessary option.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] remove unnecessary code

Now single API does not use the pipeline. Remove unnecessary function to get caps from tensor-info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[common] Added proper GstCaps framerate comparison

Added proper comparison of GstCaps framerate (1/2 == 2/4)
Added corresponding unittest cases

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Tests/FilterExtCommon] Generate test cases using meson

In order to generate test cases from the template file to which the most
recent modification has been applied, this patch changes the approach
for the test case generation from the existing bash script to the meson
build script.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[CodeClean] fix coverity issue

check exception case in testcases.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Caffe2] Change how headers are included

The headers are not in this project. Though it does not occur errors, to prevent misunderstanding, it needs to be fixed.

Signed-off-by: HyoungJoo Ahn <hello.ahn@samsung.com>

Documentation Update of 2020.01

We have been progressed a lot. Update the documentation accordingly.

V2: fixed typos

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Ext/Filter/TFLite] Enable a TensorFilter's property, verify_model_path

This patch enables a GstTensorFilter's property, verify_model_path,
which is newly added.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/Common/Reload] Define the behavior for verify_model_path

This patch defines the behaviour of reloading model files when the
verify_model_path is set to TRUE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/Script] Make the run_unittests_binaries script find executables

This patch makes the run_unittests_binaries script in ./packaging find
only executable files.

Signed-off-by: Wook Song <wook16.song@samsung.com>

README: update reviewers and project status

- Added the two new reviewers
- Added more info on the project status

V2: typo-fix and added an omitted item.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Tests/FilterExtCommon] hotfix: Fix build errors, dangling-else

This patch fixes build errors related to 'dangling-else' (error:
suggest explicit braces to avoid ambiguous 'else') in
unittest_tizen_template.cc.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[tflite/bug] Set accelerator bug solve

Bug: Not setting accelerator ignored the use_nnapi configuration
This is resolved

Enable setting accelerator unittest non-tizen platforms as well

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[CodeClean] change file extension

1. change file extension to .cc in testcases
2. change path to generate ext-test files

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] assertion to load conf file

Now Android functions do not use the conf file, remove assertion to run Android library.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android/Test] testcases for updated API

Add testcase for SNAP and updated Java API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/Android] support SNAP in Android API

In Java APIs, handle multiple model files and custom option to support SNAP.
Define enum for supported NNFW and implement native functions.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/CodeClean] function to create single handle

To reduce complexity, add function to create and initialize the single-shot handle.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[C-Api] handle multi files and custom option

define struct to handle multiple model files and custom option string.
Prepare SNAP single-shot API.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Api/CodeClean] macro to check nnfw

1. define macro to check nnfw is available
2. update comment and code clean

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[python/ext] Added basic unittests for python

- Python initialize and finalize is done once for the module rather than doing it per object
Doing initialization per object causes errors when importing modules
- Replaced Assert with appropriate error handing for python extension of tensor filter
- Added basic unittests for python which covers the failure cases

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Filter] Add an option to centralize checking the path of model files

Currently, each sub-plugin of the tensor filter should check the
validity of the path of the model files. In general, it leads to
unnecessary code duplication. Moreover, sometimes those are not checked
at all. This patch adds an option to centralize checking the path of model
files so that each sub-plugin is in charge of the validity of model files
only when this option is set to FALSE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

 [TEST] Unit test case for NNFW ML-API
Unit tests are added to verify NNFW with ML-API.
Detail of added test case is :
Test multidimensional input/output us supported in NNFW

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[nnfw] Support setInputDimension with nnfw

With updated nnfw API, support setInputDimension with nnfw
Although the API is defined, its not yet implemeted interally
So, the unittest is added, but disabled

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

CODEOWNERS: add new members

Notify Gichan and Yongjoo for any changes in the repo.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Test: filter/edgetpu unit testing

Edge-TPU subplugin unit test cases.
(1 positive and 2 negative cases)

This requires edgetpu package update in dashboard.tizen.org
(We are waiting for it)

V2: added test model condition for edgetpu testcase.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CONF] override NNSTREAMER_CONF_FILE with env-var conf in non-Tizen

This commit overrides NNSTREAMER_CONF_FILE with env-var conf in
non-Tizen system. So, env-var conf has a higher priority than others.

With this feature, some unittests using a conf file from env-var has
passed even if the default conf file (/etc/nnstremer.ini) exists.
Note that Tizen does not allow to set configurations from env-var.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Dist/Tizen: show unit test result summary

Aggregate all gtest and SSAT results at the end of testing.

After this, unittest-enabled gbs will show results like:

```
[  117s] GTest (total 232 cases)
[  117s]   Passed: 232 / Failed: 0 / Ignored: 0
[  117s] SSAT (total 513 cases)
[  117s]   Passed: 497 / Failed: 0 / Ignored: 16
[  117s] Grand Total: 745 cases
[  117s]   Passed: 729 / Failed: 0 / Ignored: 16
```

Changes in V2:
- made sure to call close for opened f
- use os.path.splitext
Chnaged in V3:
- with makes exceptions with fail. Handle them.

Suggested TODO in later PRs:
- Count negative test cases.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Filter/OpenVino] Fill the mandatory callback, invoke

This patch adds a method to run inference for given input tensors using
InferenceEngine on the acceleration device. It also implements the
mandatory callback of GstTensorFilterFramework, invoke, with such method.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[filter/ext] Added basic unittests for all filter extensions

Added basic unittests for all the the filter extensions
This creates failure cases of unittests for the interface defined with GstTensorFilterFramework
for most of the extensions, and performs basic unittests
Updated the unittest list in packaging files as well

Also added a script file to run all the test cases inside a folder

V2:
Split test cases into successful and negative ones

TODO: Support python extensions in this as well

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[single/hw] Check hw support for framework

Add implementation to check hw support for framework while checking
for its availability.
Added unittests for this functionality with tensorflow-lite

V2:
check hardware support performed while parsing for available hardwares
Split availability test cases into positive and negative

V3:
checkHWSupport->checkAvailability

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Android] add clone method

Add clone method in tensors info class.
This is to prevent meta-info change after allocating data from passed information.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] define enumeration for data type and state

Define enumeration for tensor data type and pipeline state (sync with C# API)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Android] tensors-data class with metadata

1. Add tensors info in TensorsData class.
2. Handle error case when failed to create pipe info in native functions.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[PythonFilter] Add pragma option to fix compile time error for gcc v9.6

This patch newly adds pragma option to fix compile time error for gcc
v9.6.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Spec] Add python-filter option

This patch newly adds the python-filter option which could support to be
disabled.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Filter/OpenVino] Handle the case when the sub-plugin is re-opened

This patch adds a mechanism to handle the case when this sub-plugin is
re-opened.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Improve provided model(s) parsing

This patch improves the mechanism to parse the provided model(s).
The model could be given in the following forms:
 - a path of the .bin or .xml file
 - a path of the prefix of the .bin and .xml file
 - a set of paths of the both .bin and .xml files.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Ext/Filter/Meson] Make meson support the CPU extensions of OpenVino

This patch updates the meson build script for tensor filter sub-plugins
to support the CPU extensions of the OpenVino toolkit.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Filter/OpenVino] Load a given network into the acceleration device

After negotiated, the given neural network should be loaded into the
acceleration device (note that, currently, CPU is the only supported
one).This patch is a draft of the implementation of that mechanism.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Cpp/Ext] Renames file extensions of test source codes written in C++

This commit renames file extensions of test source codes written in C++
(i.e, *.cpp -> *.cc), which hurt the consistency.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[armnn] object classification unittest + bug solve

- Add object classification unittest using tflite quantized mobilenet
- Add orange.png raw format image orange.raw
- As armnn treats uint8 datatype of tflite as quant asymm8 (arc/armnnTfLiteParser/TfLiteParser.cpp:310),
quant asymm8 is interpreted as uint8 in nnstreamer
- Updated current default HW backend to CpuAcc (based on neon) as CpuRef takes over
5 min to complete the mobilenet unittest

Bug solve:
The dimension of data received by armnn are inversed to match the desired order

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[C-API] Set omitted enum value in pipeline buffer policy

This patch explicitly set the enum value in pipeline buffer policy as
below.
* ML_PIPELINE_BUF_POLICY_AUTO_FREE: 0
* ML_PIPELINE_BUF_POLICY_DO_NOT_FREE: 1

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[nnfw] Interpret quant8 asymm as uint8

Interpret quant8 asymm as uint8
Add unittest with object classification

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Ext/Filter/Meson] Update meson.build for the OpenVino sub-plugin

This patch updates the meson build script for the tensor filter
sub-plugins to support OpenVino.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Documentation] Modify the meson version required to build up-to-date

This patch modifies the meson version required to build up-to-date, 0.50.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Api] add SNAP in nnfw enum type

Define SNAP in nnfw type, only for Android.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/Custom] unnecessary log

prevent unnecessary logs if custom-filter does not define set/get dim callbacks.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix coverity

fix some coverity issues and sam score

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter/OpenVino] Add skeleton code of a sub-plugin for OpenVino support

This patch adds skeleton code of a tensor filter sub-plugin for OpenVino
Toolkit (dldt) support.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[armnn] Added unittests for armnn

Added unittests for armnn tensor filter extension

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[armnn] Added tensor filter extension of armnn

Added tensor filter extension of armnn

V2: Updated the static library install paths for armnn and nnfw subplugins
V3: Updated error handling
V4: Remove Wno-sign-compare

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[filter/ext] Replace asserts with error handling

Replace asserts with appropriate error handling in tensor filter extensions
This will allows test cases for failure scenarios and handle erronous inputs
via single-shot API gracefully with error return than shutting down with assert failure

V2:
Applied for custom filters as well

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[spec] Minor fixes and cleanup

Added minor fixes:
- nnstreamer-capi.manifest to be not used non-tizen packages
- remove nnfw enable variable as nnfw is always enabled

Cleanup
- remove extra tizen conditions
- Move similar blocks together for better understanding

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>