[test] Fix misleading path (#8693)

Nit: fix path in `test_arm_neurun_acl_cl.sh`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce InstanceNorm op (#8526)

This commit introduces InstanceNorm op into runtime frontend.
  - Introduce InstanceNormNode into neurun
  - Introduce InstanceNorm op into frontend
  - Use default value if value of epsilon is zero

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[exo] Knob for fuse SquaredDifference (#8696)

This commit introduces UseFuseSquaredDifferencePass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Register EltwiseSqrt Converter (#8697)

This commit registers EltwiseSqrt Converter to exo conversion stage

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Remove redundant steps of type and shape inference (#8695)

This removes redundant steps of type and shape inference.

Note that convert() and optimize() has already performed type and shape inference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[angkor] Change num_elements behavior (#8684)

The current implementation treats rank-0 tensors as a special tensor
which has no elements.

This semantics has a conflict with the well-known standard which treats
a rank-0 tensor as a scalar.

This commit resolves this semantic conflict.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Fuse Squared Difference (#8654)

This commit introduces a pass to fuse Squared Difference pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Remove alias and use moco (#8688)

This will remove moco::tf alias for moco and update to use moco types

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce Readers for nchw (#8663)

This commit introduces Readers for nchw.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Export Sqrt, Rsqrt, SquaredDifference (#8652)

This commit implements export stage for TFLSqrt, TFLRsqrt and
TFLSquaredDifference. Note that both TFLite exporter and Circle exporter
implemented.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use moco/Importer.h (#8686)

This will update to use moco/Importer.h in moco-tf

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit-mocotf] Use moco namespace types not alias (#8682)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2circle] Use moco namespace types not alias (#8681)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit-tf] Throw T/F error message (#8673)

The exception thrown inside run method now contains detailed message
that comes from TensorFlow itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Update ifdef guards of operations (#8683)

Update `#ifdef` guards of operations which were not updated when it was
renamed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nnapi] Remove skipping Gather operation on cpu tests (#8667)

* Enabled tests for Gather operation on cpu backends

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[tf2tflite] Use moco namespace types not alias (#8680)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] Tidy import unused dependency (#8676)

This will remove unused dependency headers and libraries

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Fuse Rsqrt (#8655)

This commit introduces a pass to fuse Rsqrt pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Convert EltwiseSqrt (#8653)

This commit implements conversion from canonical EltwiseSqrt to
TFL-dialect TFLSqrt

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] Provide Importer header in moco folder (#8672)

This will provide Importer header in moco folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

 [neurun] Rename operation classes (#8666)

This commit removes suffix 'Node' from operation class names since
redundant.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tflite_loader] Introduce tflite_loader test list (#8660)

Itnroduce tflite_loader test list for tflite_loader validation test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime] Move runtimes and rename runtime directory (#8472)

Move logging and pacl runtime into contrib
Rename runtime directory: runtimes -> runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco] Update Importer comment (#8657)

This will update Importer comment with input and output nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove output node handle for Push (#8656)

This will remove not needed anymore handle for Canonical Push as output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[base_loader] Remove unused variable (#8659)

Remove unused variable in `BaseLoader::loadOperand`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Inline Graph::linearize (#8627)

This is to remove dependency of `Graph` on `Linear`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Make Readers and Views support both ITensor and buffer (#8644)

This commit makes Readers and Views support both ITensor and buffer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Allow same inputs multiple times (#8567)

Allow same inputs multiple times for an operation.
Remove redundant assertion

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Support 1x1x1x1 input for Squeeze (#8646)

Squeeze will handle 1x1x1x1 input using ShapeFixer.
Scalar output will be fixed to rank-1 one element tensor.
The output value will be transfer to app without trouble since nnfw
runtime API get output values using buffer pointer and buffer length.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[moco] Produce TFPush for graph output (#8647)

* [moco] Produce TFPush for graph output

This will update to produce TFPush for graph output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* update comment

[exo] Type & shape infer. for Sqrt, Rsqrt, SquaredDifference (#8649)

This commit introduces type and shape inferences or TFLSqrt, TFLRsqrt,
TFLSquaredDifference.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[circle-verify] Add VerifyFlatBuffers (#8648)

This will add and enable VerifyFlatBuffers verify Circle file in flatbuffer file format level

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Note on Pass name convention (#8645)

This commit adds note on Pass name convention

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Rename to have Pass suffix (#8643)

This commit renames following classes (and related files) to have 'Pass'
suffix like other Passes:
- FoldReshapeOfConst -> FoldReshapeOfConstPass
- FoldTransposeOfConst -> FoldTransposeOfConstPass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] TFL nodes for Sqrt, Rsqrt, SquaredDifference (#8623)

This commit introduces simple TFL-dialect nodes:
- locoex::TFLSqrt
- locoex::TFLRsqrt
- locoex::TFLSquaredDifference

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[circle-verify] Introduce Model and empty Driver (#8641)

* [circle-verify] Introduce Model and empty Driver

This will introdue Model that will provide mmapped buffer and empty Driver

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[moco-tf] Prepare to handle TFPush instead of Push (#8636)

This will update Frontend to support output as TFPush and Push while updating to produce TFPush as Output

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Remove workaround after switching to ACL v19.05 (#8629)

Prior versions had a bug which did not take into accout the activation fused into CLDepthwiseConvolutionLayer. The workaround for this is now removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] Fix hdf5 file dump (#8575)

Value group have to be created only once for file
Remove blank line

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Change the dimension order of Reader and Views in nhwc (#8509)

This commit changes dimension order of Reader and Views in nhwc to nhwc.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[circle-verify] Readme (#8635)

* [circle-verify] Readme

This will introduce circle-verify readme file explaining it's usage

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* edit about

* change output format

[moco-tf] Add TFPush NodeSummaryBuilder (#8634)

This will add TFPush node to NodeSummmaryBuilder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-integration-test] adding tests related to depthwiseConv2D bias fusion (#8543)

This adds tests related to depthwiseConv2D bias fusion.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tfl-inspect] Enable nullptr for data in buffer_info (#8632)

This will enable buffer_info() to accept nullptr in buffer_data for use cases where only return size is needed

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] TF dialect OutputIndexQueryService (#8630)

This will enable TF dialect GraphOutputIndexQueryService

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfl-inspect] Enable conv2d_weight option (#8633)

This will enable conv2d_weight option that shows Conv2D series node with non Const weight input

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Enable TFPush canonicalizer (#8631)

* [moco-tf] Enable TFPush canonicalizer

This will enable TFPushCanonicalizer in Canonicalizer phase

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix typo

[neurun] fix loadSqueeze and SqueezeNode. (#8602)

- `loadSqueeze` should read `squeeze_dims` from options.
- `squeeze_dims` should be array in SqueezeNode.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Clean empty line for conversion registry (#8622)

This commit clears empty line in Convert.h, which registers all
conversion passes. This is mainly to enhance readability.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[compiler] introducing tf2tflite-quality-test (#8614)

This introduces a new project called `tf2tflite-quality-test`, whose previous name was `dredd`.
The basic structure of this is very similar with `tf2tflite-model-test`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] revising TestGraph.h (#8618)

This revises TestGraph.h to 1) remove build() and 2) remove graph().
1) build() is moved into constructor
2) graph() is already defined in parent

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Push canonicalizer (#8617)

This will introduce Canonicalizer for TFPush node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Support Gather operation on cpu backend (#8399)

* Added Gather kernel on cker
* Changed axis Gather param
* Fixed other parts with Gather

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnfw-gbs] nnfw-devel package config file (#8518)

Introduce nnfw-dev package config file (nnfw.pc)
Change include path to {prefix}/include/nnfw

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Removing EnableTFLDialect knob (#8615)

This removes EnableTFLDialect knob - related files are modified.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco] push_node implementation (#8616)

This will introduce push_node implementation that retuns TFPush node with given GraphOutputIndex

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfl-inspect] Introduce DumpConv2DWeight (#8611)

* [tfl-inspect] Introduce DumpConv2DWeight

This will introduce DumpConv2DWeight to dump Conv2D series node weight input type

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix namespace

* update comment

* use buildin_code

[moco] Shape and type inference for TFPush (#8613)

This will add shape and type inference for TFPush node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] Introduce TFPush IR (#8598)

This will introduce TFPush IR that will be used as graph output

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[lib/misc] Handle scalar input/output (#8607)

Fix error when object is scalar
This will fix error nnapi_test when input/output is scalar

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tfl-inspect] Readme section for operators option (#8605)

This will introduce section in Readme file for operators option

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tfl-inspect] Readme for conv2d_weight (#8606)

This will update Readme with conv2d_weight option

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Rename file name for type inference test (#8604)

This commit renames following file:
TFLTypeInference.test.cpp -> TFLTypeInferenceRule.test.cpp

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2tflite-model-test] Do NOT rename runner.sh (#8599)

Now, copied script runner is named as "runner.sh" instead of "run".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce tf2circle conversion test (#8593)

This commit introduces tf2circle conversion test.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] initialize logging only once (#8570)

Currently logging::Context is instantiated inside each translation unit separately

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[tfl-inspect] Add more examples with sort and uniq (#8579)

This will add xample using pipe with sort and uniq

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove unused header (#8578)

This will remove unused header in TestHelper

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce tf2circle model test (#8551)

This commit introduces tf2circle model test.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Remove tf2tflite test (#8562)

This commit removes tf2tflite_test in `compiler/tf2tflite` directory.
Note that this test is fully moved to `tf2tftlie-integration-test`.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Remove TFShapeInferenceHelper (#8576)

This will remove not used anymore TFShapeInferenceHelper file that migrated to moco-support

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir-tflite-importer] Fix quantization creation with various data types (#8552)

* Fixed creation quantization with empty quantization attribute on
tflite
* Removed data type checks

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Remove file with obsolete documentation (#8574)

After nncc and nnfw repositories merge this file is not valid, because we use unified nnas format

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

Move static vector `dimensions` inside `main()` (#8571)

There is no need for it to have static lifetime

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[ncnn-backend] Support add operation (#8565)

- NCNN binary-op kernel porting (disable same input/output tensor support)
- NCNN backend add operation support
  - Support non-broadcasting
  - Need alignment matching when rank is upper 3
- Enable unittest, related validation test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix subgraph creating for split (#8488)

It merges split with one of the next operations. Because of that other
outputs of ths split aren't seen as outputs of a node and in LinearExecutor
topological sort doesn't work correct and it causes failure in memory
management because incorrect order of startLifetime/finishLifetime,
notifyFirstUse/notifyLastUse,...

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[nnfw-ncnn] Fix bug in Mat class (#8564)

Rename mat class code file mat.cpp to mat.cc - not compiled
Fix build error by call function in cpu.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Use TFShapeInferenceHelper from moco another one (#8557)

This will update to use TFShapeInferenceHelper from moco
- another update for Canonicalizers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnpkg_test] Add missing option for nnpkg_test.sh (#8556)

This commit will fix `nnpkg_test.sh` to get proper options

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Fix format script to use correct clang-format (#8558)

Fix script to call correct version of clang-format that system supports

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[nnfw-ncnn] Restructure directory and introduce mat class (#8532)

Restructure ncnn directory
- Introduce internal srcn directory to divide with original ncnn directory
- Introduce mat.cpp and mat.h
- Update copyright

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Remove operation conversion Knobs (#8517)

* [exo] Remove operation conversion Knobs

This commit removes operation conversion Knobs. Available canonical
nodes would be converted to TFL dialect nodes with this commit by
default.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Remove unused, deprecated function

[exo] Update Circle operation exporter (#8549)

This commit updates Circle operation exporter to have same coverage of
TFlite operation exporter. Following operation export stages are
implemented:
- locoex::TFLConcatenation
- locoex::TFLDepthwiseConv2D
- locoex::TFLTransposeConv
- loco::TensorConstantPad

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Add Squeeze in base_loader (#8524)

- Add Squeeze in base_loader

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[android_jni] Add missing builtin_ops_jni.cc (#8548)

This file should have been committed from #8026 but it was not added by
accident. Target `tensorflowlite_jni` would not build without this file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Update test project in collect resource script (#8546)

`tf2tflite_test` would be deprecated, and replaced with
`tf2tflite_integration_test`. This commit updates regarding this change
for collect resource script.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use TFShapeInferenceHelper from moco (#8545)

This will update to use TFShapeInferenceHelper from moco

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir/interpreter] Quantized operations implementation (#8317)

* Supported quantized operations: Add, Conv2D, DepthwiseConv2D
* Fixed interpreter for quantizations

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[tfl-inspect] Remove unused header inc (#8544)

This will remove unused header includes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite-integration-test] adding test for DepthwiseConv2D bias fusion (#8542)

This adds four nets to test DepthwiseConv2D bias fusion.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Remove unused IR headers (#8541)

This will remove not used anymore IR headers that only redirects to moco IR

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Revising setCandidate() of FuseBiasAddPass (#8538)

setCandidate() of FuseBiasAddPass was revised to support FormerT and LatterT, and removed names related to conv2d.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Remove unused GraphBuilder redirect headers (#8534)

This will remove not used anymore GraphBuilder redirect header files

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[circle-inspect] Rename "Load.cpp" as "Model.cpp" (#8535)

"Load.cpp" includes the implementation of "Model.h".

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove Importer.h (#8533)

This will remove not used anymore Importer.h file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] moving dynamic cast check in setCandidate into visitors (#8531)

This moves dynamic cast check in setCandidate into visitors.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[circle-inspect] Dump circle file (#8529)

* [circle-inspect] Dump circle file

This will enable dump circle file operators

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unused headers

[tfl-inspect] Rename "Load.cpp" as "Model.cpp" (#8528)

"Load.cpp" includes the implementation of "Model.h".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>