[datarepo] Add function to read and write sparse tensors

- Add writing sparse tensors to datareposink
  To add memory to gstbuffer by number of sparse tensors when reading a sample in datareposrc,
  sample_offset, tensor_size, and tensor_count fields are added to the JSON file
- Add reading sparse tensors to datareposrc
  If the tensor format of JSON file is sparse, read a sample using the JSON meta information
  (sample_offset, tensor_size, tensor_count) and append memory to GstBuffer as many as the number
  of sparse tensors.
- Add unit test
- bug fix about shuffle index

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[tensor_region] fix memcpy to out buffer

    - fixed the out buffer pointer increment size while storing cropping info

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[datareposrc] Add function to read flexible tensors

- If the tensor format of the caps of the JSON file is flexible,
  Reads a sample using the flexible meta information (sample_offset, tensor_size, tensor_count)
  of the JSON file and appends memory to GstBuffer as many as the number of flexible tensors.
- Add unit test
- Add checking if it is a flexible tensor after writing data to GstMemory

- Reference
  * The start offset for reading is sample_offset(sample size).
  * Save each flexible tensor stored in a sample to a gstbuffer according to each
    tensor_size, tensor_size can get tensor_size field in JSON file.
  * A shuffled index is mapped to an index of sample_offset field in JSON file.
  * A shuffled index is also mapped to an index of tensor_count field in JSON file
  * The index value is a number of cumulative tensors, so it is mapped to an index
    of tensor_size field in JSON file

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[tensor_trainer] Apply NNS_TENSOR_SIZE_EXTRA_LIMIT and bug fix for flexible tensor operation

- Apply NNS_TENSOR_SIZE_EXTRA_LIMIT
- Bug fix: remove invalid flexible header pointer
           remove buffer overflow related to the wrong tensor size
- Add check if tensor is flexible

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[test] Add testcases for mux/demx handling extra tensors

- Add a TC to test MAX extra tensors with tensor_mux
- Add a TC to test tensor_demux handling extra tensors

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Let the util handles extra tensors input

- Let `gst_tensor_time_sync_buffer_from_colletpad` support extra tensors
  as its input

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[demux] Support extra tensors

- Let tensor_demux handle tensors # > 16

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] macro to check valid meta

Reduce unnecessary logs, add macro to check valid meta.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Demux] util functions to handle memories

Update util functions to handle memories in gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[test] Add testcases for filter_single with 32 in/out tensors model

- Add TCs for invoke and get/set info

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_filter_single] Let single_invoke support extra tensors

- Extend the array length of out GstTensorMemory to support invoke of many in/out tensors model with filter_single

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[tensor_filter] Let tensor_filter_common handle extra tensors

- Extend array length for layout and ranks
- Replace accessing tensor_info with array index with util func `gst_tensors_info_get_nth_info`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[filter] Fix mem leak when set input/output info

- Add calls for `gst_tensors_info_free`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] appending flexible tensor

Update util function to append flexible tensor into gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] check mem size of flex tensor

Check memory size before parsing tensor-meta.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Spec] Remove armcl dependency

This patch removes the armcl dependency from the Tizen packaging.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[Common] Add new API to get tensor format of current pad caps

- Add gst_tensor_pad_get_format()
- Replace gst_tensor_pad_caps_is_flexible() function to macro.
- Add gst_tensor_pad_caps_is_static and gst_tensor_pad_caps_is_sparse macro

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[DataRepo] handle error case

Fix res leak case if gst-memory mapping is failed.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] change function name

Change the name of common util function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] CLANG format applied

    - CLANG format applied to unittest_tensor_region.cc
    - GTEST test case updated (error was: comparing unsigned with int)
    - Removed GMainLoop from unittest_tensor_region

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[TEST] file name changed unittest_tensorRegion

    - unittest_tensorRegion changed to unittest_tensor_region
    - folder name changed from nnstreamer_decoder_tensorRegion to nnstreamer_decoder_tensor_region

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[TEST] SSAT based test case complete

    - removed unnecessary line from unittest_plugins
    - updated test pipeline in unittest_tensorRegion, runTest.sh and getCropInfo
    - tested all the python scripts, ssat test case script and unittest for tensor_region
    - Python Script for generating golden test results
    - Using tensor_filter's output for orange.png for testing to avoid uploading ssd_mobilenet_v2_coco.tflite model
    - changed Camel casing and update tests/meson.build

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[TEST] Test case for tensor_decoder::tensor_region

    - ssat based runTest.sh [incomplete]
    - getCropInfo.py for viewing the data produces of orange.unittest_plugins
    - gtest based test case in unittest_plugins with name TensorDecoder.TensorRegion [removed]
    - temporary file removed
    - Separate test unit for tensor_region
    - included missing Doxygen tags

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[trivial] Fix nms in bounding_box decoder

- Skip nms when the size of given array is 0

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] reconfigure gst-buffer with extra tensors

Handle extra tensors when reconfiguring the gst-buffer.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo] util to get data type

Add util function to get data type from caps.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[datareposink] Add function to write flexible tensors

- To add memory to gstbuffer by number of flexible tensors when read sample in datareposrc,
  sample_offset, tensor_size, and tensor_count field are added to the JSON file
- Add unit test

- Reference
  * If caps of sink pad is flexible, the input gstBuffer is saved as a flexible tensor
  * The size of the input gstBuffer is stored as sample_offset field in JSON file and
    it will be used when shuffle operation in datareposrc
  * Each flexible tensor size is stored as tensor_size field in JSON file and
    it will be used with gst_buffer_append_memory() in datareposrc

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[TEST] bounding_box test with config_file

    - updated the runTest.sh for nnstreamer_decoder_bounding_box including the config-file property

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[FEAT] Config file for properties

    - Defined a module in nnstreamer_plugin_api_impl named gst_tensor_parse_config_file
    - Used to install new property to specify Configuration file path
    - example case included for tensor_decoder
    - updated after build checkers failed for indentation
    - Type specific setting of prop_value

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[debian/rules] Add tests path of nnstreamer_datarepo to debian rules

Modify to run nnstreamer_datarepo tests

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

Dist/Tizen: Fix a GBS build error due to #4007

This patch fixes a GBS build error caused by #4007 on the SNPE
sub-plugin for Tizen.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[trivial] Fix log level warn -> info

- Decrease log level since the line is in proper scenario when the
  num_tensors is exactly 16.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[DataRepo] util to get nth info

Prepare extra tensors, use util function to get nth info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[DataRepo] enum of incoming data type

Define new enum of incoming data type for data-repo elements.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] magic number for flex-tensor

Add magic to tensor-meta, this indicates given memory block is flexible tensor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] validate tensor-info

Param error case, validate tensor-info before appending new memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] use util func for extra tensors

Code clean, remove unnecessary local val and use util function to handle extra tensors.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

Revert "Filter/Meson: Move 'filter-snpe-list' to the build directory"

This reverts commit 2d6bc59653dab21bf1706d61a06c205c10583a92.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[tensor_crop] Push EOS event

Push eos event to src pad when collect pad is set to EOS state.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Fix] fix svace issue.

Fix overflow before widen (distance value in 'g_array_set_size' func).

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Fix] fix svace issue.

Fix data type of distance value in 'g_array_set_size' (gint -> guint64)

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Fix] fix coverity & svace issues

Fix coverity issues.
 - Fix resource leak (free 'dim_str' in '_custom_easy_filter_dynamic' function)
 - Delete unused 'cIdx' value in 'g_array_sort' function.
 - Fix 'g_strlcpy' return value and check fail to copy 'caps_str'.

Fix svace issue.
 - Fix data type of distance value in 'g_array_set_size'(gint ->guint64)

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

Refactor tensor_region.c in regard to PR feedback

    - fixed the name of parameter in gst_tensor_top_detectedObjects_cropInfo
    - constified recommended pointer parameters and unconstified scalars
    - Added SPDX identifier
    - caps updated

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

Address feedback from PR#4115

    - changed "finalize" function to "gst_tensor_top_detectedObjects_cropInfo"
    - introduced new function "init_meta" to intialize flexible tensor header info for tensor_crop
    - changed the string value in GstOutCaps for updating Caps info
    - checked the resulting buffer's data with the intended result

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

Tensor_region subplugin, currently supports mobilenet_ssd

    - updated nnstreamer.mk for tensor_region.c
    - A subplugin for tensor_decoder for providing cropping info to tensor-crop element
    - Code cleaned, global scalability for supporting other models
    - @brief tags added for init_modes, finalize, getOutCaps and nms functions
    - pre-build for ubuntu passed
    - newline added
    - multi line comments properly configured

Signed-off-by: HarshJ20 <hjain24in@gmail.com>

[filter] Show deprecate message for tflite1 filter

- tflite1 is going to be dropped in Tizen image.
- Show deprecate warning message when the tflite1 subplugin is opened
  and in build time.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] data size of extra tensor

Fix util function, getting tensor size of extra tensor.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common/Doc] removed param

Update doc, delete unnecessary param. (It was removed from prev PR.)

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[common] Increase tensor_size_extra_limit to 240

- Making the total size limit to be 256 (16 + 240)
- TODO: Set NNS_TENSOR_SIZE as 256 and update other source codes
  accordingly

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[fix] Fix a source file using clang-format

- Apply clang-format-15 to the file `unittest_sink.cc`

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[util] Fix the signature of gst_tensor_buffer_get_nth_meory

- Remove unused argument of GstTensorsInfo.
- Fix used lines.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Common] unnecessary mem-map calls

Code clean, reduce duplicated mem-map calls for extra tensor memory.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Filter] Support dynamic invoke

 - Support dynamic invoke
 - dynamic invoke function is added for custom-easy filter.
 - New custom callback and register function is added.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[CodeClean] util function for caps

Code clean, fix indent and use util function for gst-caps.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean/RepoSink] unnecessary lines

Code clean, cleanup unnecessary lines.
- fix data type from gst-buffer
- handle error message

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] fix tensor dimension compare util

This patch fixes `gst_tensor_dimension_is_equal`
and adds unittests.

Signed-off-by: Yelin Jeong <yelini.jeong@samsung.com>

[Fillter] Change custom-easy filter version from v0 to v1

Change custom-easy filter version from v0 to v1

Signed-off-by: gichan <gichan2.jang@samsung.com>
Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[Filter] Update filter subplugin interface

Update filter subplugin v1 interface to support dynamic invoke.
Output tensors info should be filled by filter subplugin for dynamic
invoke.

Signed-off-by: gichan2-jang <gichan2.jang@samsung.com>

[TEST] Add testcase for flexible tensor_filter

 - Testcase for flexible tensor filter is disabled and activate after
development is done.
 - In order to invoke tensor_filter with flexible input/output, you need to specify custom option.
  ex) ... ! tensor_filter framework=... invoke-dynamic=TRUE model=... ! ...

Signed-off-by: gichan <gichan2.jang@samsung.com>

[decoder] Fix logic error in box tracking

- Fix to calculate correct distance value between centroid and box
- Initialize tracking_id with 0 for yolov5 decode mode

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[datareposrc] For caps negotiation, use the caps of the JSON file

- For caps negotiation, use the caps of the JSON file
- Remove supportable caps and add 'ANY'
- Add caps property for setting caps of unregistered file (have not JSON)
- Add unittest

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[tensor_trainer] Save the stats information of the model to output tensors

Whenever one of the epochs is completed, the stats information of the model being trained
in subplugin is stored in the output tensor.

- Apply getStatus to get status of subplugin
- Add new internal API(nnstreamer_trainer_notify_event()) to get event from subplugin
- Add function to write stats to output tensors

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[API][tensor_trainer] Add event notifier and getStatus callback pointer

Add GstTensorTrainerEventNotifier to get event from subplugin
- subplugin must send event to tensor_trainer with this notifier by internal API
- Add GstTensorTrainerEventType
- Add new internal API: nnstreamer_trainer_notify_event(notifier, event_type, data)

Add getStatus callback pointer to GstTensorTrainerFramework.
- Call this to get status of subplugin

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[Common] prepare 0-init dimension

Prepare increasing max rank and 0-init dimension case.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Build] missed libs in debian package

Add missed libraries in debian package.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] util to compare dimensions

Add util function to compare tensor dimensions.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[trivial] Fix yocto build badge in README

- Yocto daily build targets aarch64. Change build badge position right.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[decoder] Add "tracking" feature for bounding boxes

- If the property is given as  `... option6=1 ...`, result bounding boxes will be marked with unique IDs.
- Centroid based track algorithm is used. It calculate every euclidean centroid distance among previous boxes and incoming boxes. And match from the least distance pair.

NOTE that this is too naive and trivial to be applied to production level application. Use it for test purpose.

If you need more information about object tracking task, refer https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvtracker.html

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[Filter] PyTorch, ignore extra output tensors
Allow tensor_filter to be configured with smaller number of output tensors than PyTorch returns natively.

Signed-off-by: Torsten Schulz <torsten.schulz@gmail.com>

[Test] missed testcases in spec file

For test coverage, add missed testcases when running unittest in tizen build.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] duplicated lines

Code clean, remove duplicated lines using util function.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] condition to release extra info

Remove unnecessary log-print, most pipelines does not have extra info and dont need releasing extra info.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Meson/Test] testcases for datarepo

Fix meson script, build testcases of datarepo when option is enabled.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

datarepo: dependency management.

Datarepo has its own unique dependency.
Thus, make datarepo optional at build so that
we can cut the dependency.

It's set "enabled by default" because most
releases will be using it anyway.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Test] parse error msg

For debug mode, parse error message received from pipeline.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

readme: add linux foundation badge

The badges are from
https://github.com/lfai/artwork/blob/main/lfaidata-assets/lfaidata-project-badge/README.md

Fixes #4036

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CodeClean] util to compare dimensions

Code clean, common function to compare tensor dimensions.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Trainer] parse config in caps event

Fix invalid tensor-config,
1. parse config when receiving caps event.
2. init/free config in start/finalize callback.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[CodeClean] fix indent and unnecessary space

Code clean, fix indent and remove unnecessary space.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Test] enable testcases for tf-lite

Run testcases when tf-lite ver 2.x is enabled.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[Common] allocate extra info

Clearly allocate extra info array in tensors-info struct, and remove unnecessary log line.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[tensor_trainer] Get TensorsInfo from negotiated caps instead of property

- Get TensorsInfo from negotiated caps
- Remove input-type and input-dim property

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[CodeClean] missed tags

Code clean, add brief tag of newly added functions.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[TEST] remove meaningless test

 - remove meaningless test
 - issue has been resolved

Signed-off-by: SuYeon <suyeon5.kim@samsung.com>

[Debian] Update ubuntu control file

 - Add json-glib-dev dep
 - Remove python2, tf, tf-lite

Signed-off-by: gichan <gichan2.jang@samsung.com>

[Filter] Add doxygen tag for mxnet subplugin

Add missing doxygen tag for mxnet tensor filter subplugin.

Signed-off-by: gichan <gichan2.jang@samsung.com>

Apply clang format to cpp files

Apply clang format to all files

Signed-off-by: www-data <www-data@ip-172-31-18-85.ap-northeast-2.compute.internal>

[MQTT] Change string copy

Change string copy to avoid gcc-12 build error.

Signed-off-by: gichan <gichan2.jang@samsung.com>

[datareposink] Change the Confirm file creation part in TC

- Change the confirm file creation
- Move ASSERT

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

Update tutorial2_object_detection.md

Add `nnstreamer-tensorflow2-lite` package to the install instruction in the tutorial

Signed-off-by: pasteldream-ps <128911696+pasteldream-ps@users.noreply.github.com>

[Tizen] Exclude test files for SAM

Exclude test files for SAM

Signed-off-by: gichan <gichan2.jang@samsung.com>

[SVACE] Fix SVACE and coverity issue

- Fix SVACE and coverity issue

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[common] Set as error when flexible tensor is requsted for extra tensor

- Extra tensors does not yet support flexible tensor.
- Set this case as error.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[common] Change the value of NNS_TENSOR_SIZE_EXTRA_LIMIT 200 -> 100

- Large stack use can be dangerous, decrease the value.
- 100 is still enough to the criteria

TODO: Change the tensor_filter code to allocate dynamically extra infos

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

[TEST] Add TC for datarepo and tensor_trainer validation

- Add datareposrc TC
- Add datareposink TC
- Add tensor_trainer TC

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[datareposrc] Add tensor-sequence property

- Tensors in a sample are read into gstBuffer according to input sequence.
- Only read the set tensors among all tensors in a sample.
- It is for other/tensors and default value is NULL.
- Add checking int param value

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[datareposink] Add json property

- Add setting JSON file path to write the meta information of a sample data
- Write gstreamer caps, sample size, and number of total samples
- In the case of flexible tensors, write the offset of each sample except the sample size

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[datareposrc] Add json property

- Add setting json file path to read meta information of the file specified as locaton
- Add function to read and validate JSON file for each types
- The sample size is calculated from reading JSON file

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[API][tensor_trainer] Change type of structure member variable

- Change from int64_t to unsigned int
- Bug-fix: When passing values to a sub-plugin in an arm 32bit environment, invalid values are passed.
- Add function to Check invalid param
- Remove default framework
- Change some default value

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[test] Add a tflite inference test with 32 in/output model

- Add a simple tflite model file with 32 inputs whose return
  values are 32 outputs (add 1.0 to each input)
- Add a unittest to test inference of the model.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>