[exo-tflite] functions to build node (#7080)

This adds functions to build featureEncode and featureDecode, which are frequently used.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Adding knob for AveragePool2D conversion (#7092)

This adds knob for AveragePool2D conversion. Default is false.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable Floor op for ACL neon (#7100)

This commit enables to support Floor op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Adding TFLTypeInferenceRule into TypeInference (#7097)

This adds TFLTypeInferenceRule into TypeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflite_loader] Add Mul and Sub operator (#7099)

It adds mul and sub operator to run ST model.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix uninitialized field (#7089)

Fix uninitialized field contructor warning in neurun core and backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Exp op for ACL neon (#7093)

This commit enables to support Exp op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Change the name of input of TFLRelu (#7081)

* [exo-tflite] Change the name of input of TFLRelu

Input name follows TensorFlow input naming. (input -> features)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify input -> features

Apply finding frontend layout of operand (#7065)

This commit applies finding frontend layout of operand.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement Relu6 operator (#7068)

It adds `Relu6` for mobilenet v3.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix null type reference (#7059)

Instead of using getOperandSize, use type pointer to find out operand has unspecified shape

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLAveragePool2D node (#7054)

* [exo-tflite] Introducing TFLAveragePool2D node

This adds TFLAveragePool2D node, which represelt AVERAGE_POOL_2D of TensorFlow Lite.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modified per jh1304's review. Filter and Stride were made

Coverity issue on scheduler (#7072)

- Unreached default in switch-case
- Unchecked return of library call

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLTypeInference (#7015)

This adds TFLTypeInference to infer type for TFL nodes.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[pepper-str] Fix "unused parameter" warning in CI (#7075)

This fix "unused parameter" warning in CI.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Remove unnecessary helper function (#7066)

This commit removes unnecessary helper function.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make ConcatLayers support NCHW frontend layout (#7063)

This commit makes ConcatLayers support NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Use LIB_PTHREAD variable in CMake (#7069)

Use variable `${LIB_PTHREAD}` rather than hardcoded `pthread`. This is
useful for Android build which does not have pthread lib. Android
contains pthread in libc.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Revert commits related to mutex in acl_cl::Object (#7062)

- Revert "Fix deadlock when access two acl_cl at once (#6500)"
- Revert "[neurun] Change acl_cl::Object::access to multithread safe (#5636)"

This reverts commit 51671b098692a133d86624afc5455c6e01ef9302
This reverts commit 6097ce0e7d59be4342db40e1bfc104d5ec88c5fa

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir_caffe] Switch to AvgPool2D and MaxPool2D ops (#7029)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Check dladdr return value (#7061)

Check dladdr return value and log if fail to load

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix unused return value (#7060)

Fix unused return value of call for dimension valid check

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[mir_onnx] Switch GlobalAveragePool converter to AvgPool2DOp (#7049)

Switch from `PoolOp` to `AvgPool2DOp` in `GlobalAveragePool` converter. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Make "Check.h" to use pepper instead of pp (#7038)

* [exo-tflite] added pp into cmake scripts

`pp` is added into cmake scripts to use "Check.h", which includes a header in pp.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pp to lightweight pepper::str

[mir] Remove operation names (#7016)

Names on operations were difficult to maintain.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix uncatched exception (#7058)

Operand::operandSize() can throw exeception because sizeOfDataType() in DataType.h can throw runtime exception

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Resolve Division by zero in Softmax layer (#7055)

This commit will resolve division by zero in Softmax layer

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[pepper-str] make a function in header inline (#7043)

* [pepper-str] make a function in header inline

This adds `inline` keyword to `str_impl(...)` function in header.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* added inline to all str_impl

[neurun] Implemented scheduler test with branched graph (#6926)

* [neurun] Implemented scheduler test with branched graph

* Implemented scheduler test with branched graph and known execution time
* Added set time methods to ExecTime
* Refactored existing scheduler test a little bit

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* 'set' methods from ExecutionTime replaced with helper functions

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* remove profile data before test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Increased execution time for GPU in last test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Set correct large exec time for gpu

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Prettified HE scheduler a little bit (#6982)

* [neurun] Prettified HE scheduler a little bit

* Removed backend transfer time from _run_cache
* _run_cache replaced with _preferred_operations
* Profiling information existence checks added

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[neurun] Made scheduler to shuffle backends after all nodes are profiled (#7010)

[neurun] Made scheduler to shuffle backends after all nodes are already profiled

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[neurun] Introduce ITensorManager to be used as MemoryManager (#7048)

Introduce ITensorManager to be used as MemoryManager instead of existing
MemoryManager in the future.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Delete FixPaddingTransform (#7042)

This will delete unused FixPaddingTransform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable moco logs via TF2TFLITE_Log_Frontend (#7040)

Let's use TF2TFLITE_Log_Frontend instead of MOCO_LOG.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[res] Introduce UNIT_Squeeze_003 test (#7039)

This test is for checking that `Squeeze` operation handle multiple negative
squeeze_dims or not

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir_tflite] Switch to AvgPool2D and MaxPool2D ops (#7024)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Switch to AvgPool2D and MaxPool2D ops (#7032)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Switch to AvgPool2D and MaxPool2D ops (#7023)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Add support for AvgPool2D and MaxPool2D (#7022)

These operations are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Switch to ReduceMean op (#7004)

Switch from `ReduceOp` to `ReduceMeanOp`. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Switch to ReduceMean op (#7003)

Switch from `ReduceOp` to `ReduceMeanOp`. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Implemented Data Format Switcher (#6932)

* Implemented PoolOp visitor in switcher

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[neurun] Introduce AclInternalBufferManager class (#6983)

Introduce AclInternalBufferManager class which will be used by acl's
layers

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Fix nnfw_output_tensorinfo (#7035)

nnfw_session::output_tensoninfo should uses output size, instead of input size.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[moco-tf] Use logo Pass (#7030)

* [moco-tf] Use logo Pass

This will update to use logo Pass as transformations for two Optimiziers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use moco::tf::Knob

[moco-tf] Use loco::NodeShape for inputs (#7008)

* [moco-tf] Use loco::NodeShape for inputs

This will change fix_shape() to use loco::NodeShape for input's shape information

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix vars

[nnc] Add support for ReduceMean (#7002)

This operation is the future replacement of the `Reduce` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Add support for AvgPool2D and MaxPool2D (#7011)

These operations are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Placeholders for TFL nodes (#7021)

* [exo-tflite] Placeholders for TFL nodes

This will add TODO comment as placeholders for TFL nodes to come

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use name from schema

[exo-tflite] Introducing TFLShapeInference (#6991)

* [exo-tflite] Introducing TFLShapeInference

This adds TFLShapeInference that infer the shape of TFL nodes and TFLShapeAnnot that passes shape from canonical node.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adding missing graph input

* fix typo

* remove Forward word from internal class naming

[neurun] Add iterate() to FunctionSequence (#6977)

Add iterate() to FunctionSequence for #6156

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[nnpkg_tool] Revise nnpkg_test and model2nnpkg for readable log (#7028)

`nnpkg_test`
- distinguish the run and compare result.
- shows the errors after a blank line.
- does not use `set -e` to continue after error for pretty printing.

`model2nnpkg`
- It becmome less noisy.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nnpkg_tool] Introduce nncc-tc-to-nnpkg-tc (#7005)

Introduce tool for converting nncc testcase to nnpkg testcase.
Please read README.md for usage.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[mir] Add AvgPool2D and MaxPool2D operations (#6996)

These are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Add ReduceMean operation (#6994)

This is a future replacement of `Reduce` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_tool] Introduce nnpkg_test.sh (#7020)

Introduce a tool for running an nnpackage testcase.
It will run nnpackage with nnpackage_run, and compare the result.
For usage, find README.md.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Apply InternalBufferManager to RNN on acl_cl (#6978)

Apply InternalBufferManager to RNN on acl_cl

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Introduce ProgressReporter (#7013)

* [moco-tf] Introduce PhaseEventListener

This will introduce PhaseEventListener that implements logo::PhaseEventListener that dumps Phase event logs

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename

Introduce model2nnpackage (#6976)

This patch introduces model2nnpackage.
It will take model file (either circle or tflite) and generate
containing nnpackage.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo-tflite] Placeholders for TFLNodes.lst (#7019)

This will add TODO comments in TFLNodes.lst as placeholders for new TFL nodes to come

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Use throw instead of assert (#7006)

The current implementation of translateLocoTypeToTFLite may return an
invalid value if the code is built with release configuration.

This commit replaces assert with throw to prevent undefined behavior.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-log] Extract LoggingContext class (#6999)

LoggingContext class is currently declared in Log.h, and thus it is
impossible to access this class declaration without including macros
defined in Log.h, which leads to macro name conflicts in some case.

This commit introduce a dedicated file for LoggingContext class to
allow users to access LoggingContext class without the risk of macro
name conflicts.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Remove empty directories (#6967)

All the components are now at the top-level.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Use make_shape_inference_data in fix_shape (#6998)

This will use make_shape_inference_data() for patterns of make_unique() + copy_shape_values() with ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Enabling OperationExporter to handle TFLNode (#7001)

This enables OperationExporter to handle TFLNode

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Use logo::Pass for Transform (#7000)

This will make moco::tf to use logo::Pass for Transform class as for first step of migration

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] Do not set / check names of operations (#6981)

Operation names are going to be removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Switch to tensor names (#6974)

Do not set operation names; set tensor names instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Do not set names of operations (#6956)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Macros to wrap assert and std::runtime_error (#6919)

* [exo-tflite] Macros to wrap assert and std::runtime_error

Two macros were added that wrap assert and std::runtime_error

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* renamed

[neurun] Recover prepare of IFunction (#6975)

Recover prepare of IFunction for #6156

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[mir_tflite] Do not set names of operations (#6955)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Do not set names of operations (#6953)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Register Transpose operator converter (#6947)

It was lost not long ago after improper resolving of a merge conflict.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Add support for auto_pad attribute (#6943)

Add support for `auto_pad` attribute to `Conv`, `AveragePool`, `MaxPool` operator converters.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Do not set names of operations (#6812)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] ShapeInference support for Custom Op (#6622)

* [exo-tflite] ShapeInference support for Custom Op

With this commit, ShapeInference can infer the shape of custom op.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adds an empty line; remove visit()

[mogo-tf] use update_stride_data and update_window_data (#6987)

This will update to use update_stride_data() and update_window_data() in fix_shape() functions

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] make_shape_inference_data from T (#6980)

This will introduce template make_shape_inference_data() that creates a copy of ShapeInferenceData from src

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Adding visit(locoex::TFLRelu) into OperationExporter  (#6988)

* [exo-tflite] Making OperationExporter handle locoex::TFLRelu

This enables OperationExporter to export locoex::TFLRelu into tflite file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* fix build error

[exo-tflite] introducing TFLConverter class (#6986)

* [exo-tflite] introducing TFLConverter class

Children of this class will convert a loco node to TFL node. This class is a parent of those children.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove graph param from

[moco-tf] Use loco::NodeShape in copy_shapedata (#6984)

This will change to use loco::NodeShape if exist as shape information in copy_shapedata()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Introduce as_feature_shape in FixShapeTransform (#6989)

This will introduce as_feature_shape() that returns FeatureShape from loco::NodeShape with TFDataLayout

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Inherit PhaseRunnerMixinObservable (#6985)

This will update PhaseRunner to inherit PhaseRunnerMixinObservable for notification
and add call methods to send notifications

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] comment for ending namespace (#6979)

This adds comment for ending namespace

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Fix to use plier::tf::as_data_layout (#6968)

This will fix to use plier::tf::as_data_layout() from previous as_DataLayout()
and use explicit plier::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Function to convert canonical nodes to TFL nodes (#6939)

* [exo-tflite] Function to convert canonical nodes to TFL nodes

This adds a skeleton level implementation of a function that will convert canonical nodes to TFL nodes

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* copyright. fix log for knob checking

[logo] Introduce PhaseRunnerMixinObservable (#6971)

This will introduce PhaseRunnerMixinObservable for Phase/Pass run stage notification

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce new NNAPI test generator (#6924)

Move test generator into tests/nnapi/nnapi_test_generator/android-p
Introduce test generator into tests/nnapi/nnapi_test_generator/android-q-beta from current android master (not used yet)
Update README.md for introduced test generator

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Clean up deprecated FixedArityNode class (#6970)

Let's clean up deprecated FixedArityNode class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] update stride and window data (#6969)

This will introduce update_stride_data() and update_window_data() common function in FixShapeTransform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] introduce node_shape method (#6962)

* [moco-tf] introduce node_shape method

This will introduce node_shape() method in FixShapeTransform that returns NodeShape from Node as a common shape information for dialect independent

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* header for shape_known

[neurun] Fix indentation in DataflowExecutor.cc (#6840)

Fix indentation in DataflowExecutor.cc, remove TODO comment.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[mir] Add Graph::create() overload without 'name' parameter (#6951)

This is a first step to remove names from operations.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnkit] Clean up redundant requires (#6946)

nnkit no longer requires moco and tfinfo module.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo-tflite] TFLRelu uses exo::FixedArityNode (#6952)

Since loco::FixedArityNode is being deprecated, TFLRelu now uses exo::FixedArityNode.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[logo] Introduce PhaseEventListener and enums (#6922)

This will introduce PhaseEventListener as interface for event listener while running the Phase, Pass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Fix to make same pattern (#6954)

This will fix Restart PhaseRunner to follow Saturate of run() return value pattern

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] introduce make_shape_inference_data (#6960)

This will introduce make_shape_inference_data() that makes ShapeInferenceData from NodeShape shape information

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] DepthwiseFilter in ShapeInferenceData (#6957)

This will update to support DepthwiseFilter in ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>