[mir_onnx] Remove unsing converters before operation with NCHW layout (#7044)

* Removed converters
* Fixed some params
* Fixed consant shape in BatchNormalization (for right work of
broadcasting in elementwise operations)

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

Enable L2Pool2D op for ACL neon (#7134)

This commit enables to support L2Pool2D op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[loco] Add bool return type for shape infer to() (#7131)

This will set boolean return type for ShapeInferenceSession to() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement squared_difference (#7127)

It adds squared_difference operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable L2Normalization op for ACL neon (#7129)

This commit enables to support L2Normalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix misapplied enum value in KernelGenerators (#7130)

This commit fixes misapplied enum value in KernelGenerators.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable acl neon backend mul operation (#7105)

Update acl neon backend ShapeFixer's mul
Remove exception in kernel generator for mul

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tflite_loader] implement tanh (#7126)

It adds tanh operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove hardcode for L2Normalization (#7122)

This commit removes hardcode for L2Normalization from KernelGenerator of acl_cl

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement rsqrt (#7124)

It adds rsqrt operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change to include the integrated header of ACL NEON (#7117)

This commit changes to include the integrated header of ACL NEON.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Add srcn library for new neurun backend (#6993)

* Add srcn library for new neurun backend

This patch includes implementation of srcn kernel.
It only supports Convolution and TransposeConv operations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix format checker errors

* Remove unused code and unnecessary comments

* Remove ${} from REMOVE_ITEM in cmakelist file

* Do not build srcn library on x86_64 machine

* Add return case for OpenMP library not installed

[neurun] Appends apis to ITensorBuilder (#6973)

* [neurun] Appends apis to ITensorBuilder

Appends apis to ITensorBuilder for deallocating constant tensors if they
are unused and separating constant tensors and nonconstant tensors

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Change afterFunctionPrepare to postFunctionPrepare

* Fix default parameter of registerTensorInfo

[neurun] Make {pre|post}Visit of TemplTensorBuilder recursive (#7064)

Make {pre|post}Visit of TemplTensorBuilder recursive to support for more
than two consecutive concat layers

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Update dockerfile - numpy (#7111)

Install python3 numpy for andorid-q test generator
Change python-pip to python3-pip

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use static casting to convert enum type (#7104)

To resolve implicit enum type casting warning, introduce convert helper and use static casting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] Introduce UNIT_Mean_00X testcases (#7051)

This commit will introduce `UNIT_Mean_000` ~ `UNIT_MEAN_004`
testcases

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[exo-tflite] Adding TFLShapeInferenceRule into ShapeInference (#7096)

* [exo-tflite] Adding TFLShapeInferenceRule into ShapeInference

This adds TFLShapeInferenceRule into ShapeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* restore empty line

Explicit type to prevent overflow (#7106)

To remove integer overflow warning by svace, use explicit type int64_t, not auto

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix copy constructor (#7102)

Fix uninitialized field in copy constructor

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix deref null pointer error on scheduler (#7094)

Change to runtime error instead of assert for deref null pointer error on scheduler

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLMaxPool2D (#7087)

This adds TFLMaxPool2D into TFLDialect.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Bugfix of FixShapeTransform of Squeeze (#7031)

If `Squeeze` operation have `squeeze_dims` as `[-1,-2]` and input rank is 4, it should be converted to `[2, 3]`
According to current implementation, the code erase -1 first and then put 3 in the `squeeze_dims`
However, it causes some bug. If -1 is erased, iterator of `squeeze_dims` points -2.
And then if 3 is inserted, the iterator points 3 because it is `Set`!
Now, `squeeze_dims` is `[-2, 3]` and iterator try to iterate next element but there is no more element
because 3 is the last element.

Therefore this commit will fix this bug by introducing new `Set`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[moco-tf] Update FixShapeTransform test with AvgPool (#7041)

This will update FixShapeTransform test to test with TFAvgPool

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Remove support for Reduce and Pool (#7074)

- Reduce and Pool operations were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Make `ReduceOp` a base class for `ReduceMeanOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Remove support for PoolOp (#7071)

This operation was replaced by `AvgPool2DOp` and `MaxPool2DOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove support for Reduce and Pool (#7057)

- These operation were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Pool operations are supported in DataFormatSwitcher optimization.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] functions to build node (#7080)

This adds functions to build featureEncode and featureDecode, which are frequently used.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Adding knob for AveragePool2D conversion (#7092)

This adds knob for AveragePool2D conversion. Default is false.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable Floor op for ACL neon (#7100)

This commit enables to support Floor op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Adding TFLTypeInferenceRule into TypeInference (#7097)

This adds TFLTypeInferenceRule into TypeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflite_loader] Add Mul and Sub operator (#7099)

It adds mul and sub operator to run ST model.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix uninitialized field (#7089)

Fix uninitialized field contructor warning in neurun core and backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Exp op for ACL neon (#7093)

This commit enables to support Exp op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Change the name of input of TFLRelu (#7081)

* [exo-tflite] Change the name of input of TFLRelu

Input name follows TensorFlow input naming. (input -> features)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify input -> features

Apply finding frontend layout of operand (#7065)

This commit applies finding frontend layout of operand.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement Relu6 operator (#7068)

It adds `Relu6` for mobilenet v3.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix null type reference (#7059)

Instead of using getOperandSize, use type pointer to find out operand has unspecified shape

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLAveragePool2D node (#7054)

* [exo-tflite] Introducing TFLAveragePool2D node

This adds TFLAveragePool2D node, which represelt AVERAGE_POOL_2D of TensorFlow Lite.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modified per jh1304's review. Filter and Stride were made

Coverity issue on scheduler (#7072)

- Unreached default in switch-case
- Unchecked return of library call

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLTypeInference (#7015)

This adds TFLTypeInference to infer type for TFL nodes.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[pepper-str] Fix "unused parameter" warning in CI (#7075)

This fix "unused parameter" warning in CI.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Remove unnecessary helper function (#7066)

This commit removes unnecessary helper function.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make ConcatLayers support NCHW frontend layout (#7063)

This commit makes ConcatLayers support NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Use LIB_PTHREAD variable in CMake (#7069)

Use variable `${LIB_PTHREAD}` rather than hardcoded `pthread`. This is
useful for Android build which does not have pthread lib. Android
contains pthread in libc.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Revert commits related to mutex in acl_cl::Object (#7062)

- Revert "Fix deadlock when access two acl_cl at once (#6500)"
- Revert "[neurun] Change acl_cl::Object::access to multithread safe (#5636)"

This reverts commit 51671b098692a133d86624afc5455c6e01ef9302
This reverts commit 6097ce0e7d59be4342db40e1bfc104d5ec88c5fa

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir_caffe] Switch to AvgPool2D and MaxPool2D ops (#7029)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Check dladdr return value (#7061)

Check dladdr return value and log if fail to load

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix unused return value (#7060)

Fix unused return value of call for dimension valid check

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[mir_onnx] Switch GlobalAveragePool converter to AvgPool2DOp (#7049)

Switch from `PoolOp` to `AvgPool2DOp` in `GlobalAveragePool` converter. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Make "Check.h" to use pepper instead of pp (#7038)

* [exo-tflite] added pp into cmake scripts

`pp` is added into cmake scripts to use "Check.h", which includes a header in pp.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pp to lightweight pepper::str

[mir] Remove operation names (#7016)

Names on operations were difficult to maintain.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix uncatched exception (#7058)

Operand::operandSize() can throw exeception because sizeOfDataType() in DataType.h can throw runtime exception

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Resolve Division by zero in Softmax layer (#7055)

This commit will resolve division by zero in Softmax layer

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[pepper-str] make a function in header inline (#7043)

* [pepper-str] make a function in header inline

This adds `inline` keyword to `str_impl(...)` function in header.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* added inline to all str_impl

[neurun] Implemented scheduler test with branched graph (#6926)

* [neurun] Implemented scheduler test with branched graph

* Implemented scheduler test with branched graph and known execution time
* Added set time methods to ExecTime
* Refactored existing scheduler test a little bit

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* 'set' methods from ExecutionTime replaced with helper functions

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* remove profile data before test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Increased execution time for GPU in last test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Set correct large exec time for gpu

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Prettified HE scheduler a little bit (#6982)

* [neurun] Prettified HE scheduler a little bit

* Removed backend transfer time from _run_cache
* _run_cache replaced with _preferred_operations
* Profiling information existence checks added

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[neurun] Made scheduler to shuffle backends after all nodes are profiled (#7010)

[neurun] Made scheduler to shuffle backends after all nodes are already profiled

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[neurun] Introduce ITensorManager to be used as MemoryManager (#7048)

Introduce ITensorManager to be used as MemoryManager instead of existing
MemoryManager in the future.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Delete FixPaddingTransform (#7042)

This will delete unused FixPaddingTransform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable moco logs via TF2TFLITE_Log_Frontend (#7040)

Let's use TF2TFLITE_Log_Frontend instead of MOCO_LOG.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[res] Introduce UNIT_Squeeze_003 test (#7039)

This test is for checking that `Squeeze` operation handle multiple negative
squeeze_dims or not

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir_tflite] Switch to AvgPool2D and MaxPool2D ops (#7024)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Switch to AvgPool2D and MaxPool2D ops (#7032)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Switch to AvgPool2D and MaxPool2D ops (#7023)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Add support for AvgPool2D and MaxPool2D (#7022)

These operations are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Switch to ReduceMean op (#7004)

Switch from `ReduceOp` to `ReduceMeanOp`. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Switch to ReduceMean op (#7003)

Switch from `ReduceOp` to `ReduceMeanOp`. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Implemented Data Format Switcher (#6932)

* Implemented PoolOp visitor in switcher

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[neurun] Introduce AclInternalBufferManager class (#6983)

Introduce AclInternalBufferManager class which will be used by acl's
layers

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Fix nnfw_output_tensorinfo (#7035)

nnfw_session::output_tensoninfo should uses output size, instead of input size.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[moco-tf] Use logo Pass (#7030)

* [moco-tf] Use logo Pass

This will update to use logo Pass as transformations for two Optimiziers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use moco::tf::Knob

[moco-tf] Use loco::NodeShape for inputs (#7008)

* [moco-tf] Use loco::NodeShape for inputs

This will change fix_shape() to use loco::NodeShape for input's shape information

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix vars

[nnc] Add support for ReduceMean (#7002)

This operation is the future replacement of the `Reduce` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Add support for AvgPool2D and MaxPool2D (#7011)

These operations are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Placeholders for TFL nodes (#7021)

* [exo-tflite] Placeholders for TFL nodes

This will add TODO comment as placeholders for TFL nodes to come

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use name from schema

[exo-tflite] Introducing TFLShapeInference (#6991)

* [exo-tflite] Introducing TFLShapeInference

This adds TFLShapeInference that infer the shape of TFL nodes and TFLShapeAnnot that passes shape from canonical node.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adding missing graph input

* fix typo

* remove Forward word from internal class naming

[neurun] Add iterate() to FunctionSequence (#6977)

Add iterate() to FunctionSequence for #6156

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[nnpkg_tool] Revise nnpkg_test and model2nnpkg for readable log (#7028)

`nnpkg_test`
- distinguish the run and compare result.
- shows the errors after a blank line.
- does not use `set -e` to continue after error for pretty printing.

`model2nnpkg`
- It becmome less noisy.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nnpkg_tool] Introduce nncc-tc-to-nnpkg-tc (#7005)

Introduce tool for converting nncc testcase to nnpkg testcase.
Please read README.md for usage.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[mir] Add AvgPool2D and MaxPool2D operations (#6996)

These are the future replacement of the `Pool` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Add ReduceMean operation (#6994)

This is a future replacement of `Reduce` operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_tool] Introduce nnpkg_test.sh (#7020)

Introduce a tool for running an nnpackage testcase.
It will run nnpackage with nnpackage_run, and compare the result.
For usage, find README.md.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Apply InternalBufferManager to RNN on acl_cl (#6978)

Apply InternalBufferManager to RNN on acl_cl

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Introduce ProgressReporter (#7013)

* [moco-tf] Introduce PhaseEventListener

This will introduce PhaseEventListener that implements logo::PhaseEventListener that dumps Phase event logs

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename

Introduce model2nnpackage (#6976)

This patch introduces model2nnpackage.
It will take model file (either circle or tflite) and generate
containing nnpackage.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo-tflite] Placeholders for TFLNodes.lst (#7019)

This will add TODO comments in TFLNodes.lst as placeholders for new TFL nodes to come

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Use throw instead of assert (#7006)

The current implementation of translateLocoTypeToTFLite may return an
invalid value if the code is built with release configuration.

This commit replaces assert with throw to prevent undefined behavior.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-log] Extract LoggingContext class (#6999)

LoggingContext class is currently declared in Log.h, and thus it is
impossible to access this class declaration without including macros
defined in Log.h, which leads to macro name conflicts in some case.

This commit introduce a dedicated file for LoggingContext class to
allow users to access LoggingContext class without the risk of macro
name conflicts.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Remove empty directories (#6967)

All the components are now at the top-level.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Use make_shape_inference_data in fix_shape (#6998)

This will use make_shape_inference_data() for patterns of make_unique() + copy_shape_values() with ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Enabling OperationExporter to handle TFLNode (#7001)

This enables OperationExporter to handle TFLNode

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Use logo::Pass for Transform (#7000)

This will make moco::tf to use logo::Pass for Transform class as for first step of migration

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnc] Do not set / check names of operations (#6981)

Operation names are going to be removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Switch to tensor names (#6974)

Do not set operation names; set tensor names instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Do not set names of operations (#6956)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Macros to wrap assert and std::runtime_error (#6919)

* [exo-tflite] Macros to wrap assert and std::runtime_error

Two macros were added that wrap assert and std::runtime_error

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* renamed

[neurun] Recover prepare of IFunction (#6975)

Recover prepare of IFunction for #6156

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[mir_tflite] Do not set names of operations (#6955)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Do not set names of operations (#6953)

Remove useless setting of operation names.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>