[Relay][Runtime] Implementation of Relay VM (#2889)

* Implement the virtual machine

Co-Authored-By: wweic <ipondering.weic@gmail.com>
* Fix rebase build issues

* Reorganize vm.py and fix allocator bug

* Remove compiler

* Remove tests

* Remove backend/vm/vm.cc too

* Fix docs

* Fix doc

* Fix doc

* Add vm docs

* Remove change to dead_code.cc

* Remove Relay logging

* Remove reduce

* Update include/tvm/runtime/vm.h

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Reformat

* Update include/tvm/runtime/vm.h

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Address feedback

* Update include/tvm/runtime/vm.h

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Apply suggestions from code review

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Fix a couple outstanding comments

* Last couple comments

* Update include/tvm/runtime/vm.h

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Address code review feedback

* Fix final comment

* Address comments

* Error reporting and example

* add Const

* Explicitly delete copy assignment operator

* Fix rebase

* Pass 3rd arg to fusion

[BuildModule] Fix AlterLayout Pass (#3155)

[Relay][Op] Adaptive pooling (#3085)

* Add topi adaptive_pool

* Use adaptive_pool to compute global_pool

* Add relay adaptive pool2d

* Fix lint

* Fix typo

* Minor change

* Change support level to 10

* Add contrib

* Remove global pool schedule

* Add contrib module

* Fix lint

* Update doc

* Update doc

[RFC] [VTA] [TSIM] Enabling Cycle-Accurate Hardware Simulation for VTA #3009 (#3010)

* merge files

* move verilator to the right place

* change name to tsim

* add default rule to be build and run

* add README for tsim

* Update README.md

* add some structural feedback

* change name of VTASim to VTADPISim

* more renaming

* update comment

* add license

* fix indentation

* add switch for vta-tsim

* add more licenses

* update readme

* address some of the new feedback

* add some feedback from cpplint

* add one more whitespace

* pass pointer so linter is happy

* pass pointer so linter is happy

* README moved to vta documentation

* create types for dpi functions, so they can be handle easily

* fix pointer style

* add feedback from docs

* parametrize width data and pointers

* fix comments

* fix comment

* add comment to class

* add missing parameters

* move README back to tsim example

* add feedback

* add more comments and remove un-necessary argument in finish

* update comments

* fix cpplint

* fix doc

fix python lint warnings (#3145)

[CI] Always run cpptest during build to ensure library correctness (#3147)

Relay C++ Build Module (#3082)

* [Relay] C++ Build module

* asdf

[Bugfix][TOPI] conv2d_transpose bugfix (#3138)

* deconv tests

* deconv bug fixed for certain cases tests added

[DOC] fix :code: markup syntax (#3140)

Handle vectorize for LE statement (#3137)

* Handle vectorize for LE statement

Fix a new cases introduced by commit 7afbca5691fdb599cd90b043d5a5036e55cae2d6

* Add test

[ROCm] Fix dense autotvm template registration (#3136)

* Fix rocm dense autotvm template

* suppres lint warning

[Relay][Frontend] add log op in tf frontend (#3111)

* [Relay][Frontend] add log op in tf frontend

* address comment

[TOPI] Fix mali conv2d performance regression (#3131)

* [TOPI] fix mali conv

* fix typo

* address comments

[ARITH] Constraint-aware ConstIntBound, Enhance CanonicalSimplify (#3132)

[DOC] Developer documentation for InferBound pass. (#3126)

* Developer documentation for InferBound pass.

[DOC] Various documentation improvements (#3133)

[Relay][Runtime] Add memory manager for NDArray (#3121)

* Add support for custom NDArray memory management

Credit to @icemelon9 and @wweic

* Fix copy-paste issue

* Fix naive allocator.h

* Remove buffer field

* Apply Wei's suggestions.

Co-Authored-By: jroesch <roeschinc@gmail.com>
* Fix Wei's suggestion

* Fix go rts

* Break MM dependency

* Add docs and clean up diff

* Add more docs

* Move to VM folder

* Fix lint

* Remove Go dep.

* Rename to Empty

* Address Haichen's comments

Add MXNet converter for RNN layer ops (#3125)

[LINT] Add more allowed file type

[Relay][Runtime] Add support for virtual machine Objects (#3120)

Update CONTRIBUTORS.md (#3130)

[DOC] Add missing targets to target_name documentation. (#3128)

Minor addition to graph runtime debug (#3129)

* print op names in graph runtime debug

* fix lint

Fix PRelu layout in Relay (#3013)

* Fix PRelu layout in Relay

* Fix cpplint

* Add PRelu test case

[DOC] various assorted grammar fixes (#3127)

* Correct spelling of 'inavlid'

* [DOC] correct spelling of 'schdule'.

* [DOC] clean up use of abbreviation "interop"

* [DOC] capitalize API abbreviation consistently

* [DOC] correct spelling of 'peformed'.

* [DOC] correct spelling of 'intermidiate'

* Remove trailing white space.

* Correct spelling of 'parametrization'.

* [DOC] minor improvements to Range documentation.

[FRONTEND][TFLITE] Add FULLY_CONNECTED op into tflite frontend, support Inception V4 (#3019)

* Add FULLY_CONNECTED op into tflite frontend, support Inception V4

* Fix comment style in TF Lite tests.

[Relay][Tensorflow] Allow an op as loop var. (#3056)

[RELAY][FUSION] Enhance fusion rule that starts from elemwise and broadcast (#2932)

* [relay][bugfix] fuse injective to elemwise and broadcast

* enhance fusion for prarllel injectiveOD

* check if tensor in schedule

* fix codegen

* fix lint

* update

* lint

[Bugfix] Fix type code error for StringImm (#3050)

Fixing a doc nit (#3123)

URLs to the authors repo for these tutorials had an extra
`https://`, this patch removes that.

Fix bug in ONNX importer (#3084)

[Relay][TOPI] Gluncv SSD support on the GPU (#2784)

* ssd gluoncv gpu op updated

* ssd gluoncv gpu op updated

* tutorials and testes modified

* tutorials and testes modified

* fix lint

* fix lint

* address comment

* multibox bug fixed

* space line added

* use less threads per block

* use less threads per block

* less threads per block for get valid count

* less threads per block for get valid count

* merge with master

* Revert "less threads per block for get valid count"

This reverts commit 08896cfccc34b0b2a1646d01d01ea4cad73941c4.

* Revert "less threads per block for get valid count"

This reverts commit 08896cfccc34b0b2a1646d01d01ea4cad73941c4.

* typo fixed

* elem length made to a variable

* fix lint error

* fix lint error

* lint fixed

* bug fixed

* bug fixed

* lint fixed

* error fixed

* error fixed

* test ci

* test ci

* seperate argsort to be an independent op

* seperate argsort to be an independent op

* fix lint

* fix lint

* remove unsupported models

* typo fixed

* argsort added to realy

* solve conflicts with master

* fix lint

* fix lint

* test push

* Revert "test push"

This reverts commit 6db00883fab6cc06bddf564c926bb27c874397d8.

* fix lint error

* fix more lint

* cpu test_sort udpated

* debug ci

* nms fixed

* expose argsort to relay frontend

* test ci

* fix lint

* sort register error fixed

* fix nnvm

* nms type fixed

* adaptive pooling added to relay

* Revert "adaptive pooling added to relay"

This reverts commit 1119f1f2c055753e0cc5611627597749134c5c8c.

* fix lint

* expose argsort op

* fix lint

* fix lint

* fix lint

* sort test updated

* sort bug fixed

* nnvm error fixed

* fix argsort default data type returned to be float insteaf of int

* fix lint

* fix lint

* test fixed

* fix valid count

* fix titanx bug

* tutorial add both targets

* titanx error fixed

* try to fix CI old gpu error

* try to solve CI GPU error

* get_valid_count added

* reverse get_valid_count

* get valid count optimized

* address comments

* fix ci error

* remove unessesary block sync

* add back one sync

* address comments

* address more comments

* more comments

* move sort to be indepent algorithm

* typo fixed

* more typos

* comments addressed

* doc updated

* fix pylint

* address final comments

* apache license added

[Lang] Fix undef BijectiveLayout and add scalar layout support (#3105)

porting new upsample test case from nnvm to relay (#3115)

[Relay, OpFusion] Better tuple fusion implementation  (#3092)

[LINT] recover lint error, add asf header check (#3117)

[CI] Add file type check (#3116)

[TOPI] Fix group_conv2d unit test (#3113)

fixed some typos (#3112)

Check that the node is not null, add contains to OpMap (#3037)

[TOPI] Bitserial dense operators for CPU (#3051)

[ROCM] Fix conv2d (#3107)

Fixed issue #3069 by checking op tag (#3070)

* Fixed issue #3069 by adding in_channels

* Registerd group_conv2d_nchw as topi compute

* Improved by checking tag value

* Removed group_conv2d_nchw topi registration

* Added test for relay group_conv2d_nchw

* Added assertions to forbid small group size

* Removed hard-coded oc_block_factor

* Added explanatory comments to group_conv2d_nchw_cuda

* Updated group_conv2d_nchw_cuda schedule

Removed 'direct' CUDA tests

* Reverted an accidental change in a conv2d test

* Fixed indentation problems

* Fixed a mis-commented line

* Reverted change in group_conv2d_nchw tag

* Removed commented int8 group_conv2d test

* Fixed group size assertions in group_conv2d_nchw_cuda

1) fixed a functional bug in loop partitioning algorithm that is exposed when double splitting with indivisible factors 2) added a testcase (#2956)

[TVM][ARITH] Teach BoundDeduce to handle the case in which target var can appear in rhs of expression (#2795)

* target variable can now appear in either lhs or rhs of the expression to be analyzed

* removed extra spaces

[Relay, Quantization, TOPI] int8 dense on CUDA & Dense op quantization  (#2877)

* Quantize dense layers

* Add out_dtype arggument to dense; Add dense_int8 on CUDA

* Add topi unittest of dense int8

* Fix relay

* Fix topi integration

* Fix quantization

* Update dense_rewrite

* Triger CI

* Change qconfig quantize_dense to quantize_op

* Fix

* Remove quantize_op from qconfig

[COMMUNITY] @vinx13 -> committer (#3100)

[TEST][FLAKY] fix for #3099 (#3101)

[Relay][TensorFlow] Remove 'input_0d_mismatch' special handling (#3087)

* [Relay][TensorFlow] Remove 'input_0d_mismatch' special handling

* Add more tests.

* Cover the case that strided_slice outputs a scalar

Add VSCode directories to gitignore (#3095)

[Relay][TOPI] Add rsqrt operator (#2949)

[Relay][Text Format] Fix Pretty Printing Annotations (#3041)

Use bridge network and expose port on macOS when launch docker image (#3086)

check in (#3089)

Fix UnboundLocalError: local variable 'tensor' referenced before assignment (#3074)

Enhance upsample operator to adapt onnx opset version 9 for nnvm comp… (#2968)

* Enhance upsample operator to adapt onnx opset version 9 for nnvm compiler

* Add upsample test case for newer opset in nnvm

* re-trigger the CI

[Relay] fix target string (#3071)

Fix code comment and typos. (#3063)

[Frontend][TF] Fix Placeholder issue (#2834)

* [Frontend][TF] Fix Placeholder issue

* Add test cases

[TOPI] Rename output tensors for better readability (#3006)

[Bugfix] Fix winograd nnpack fp16 (#3046)

fix PostOrderVisit signature (#3048)

[RELAY] Avoid unnecessarily reconstructing FunctionNode. (#3047)

[Relay][Frontend] TF Tile Round Sign Pow Exp Reverse (#2960)

* [Relay][Frontend] TF Round Sign Pow Exp Reverse

* fix ci

* fix comments

Bugfix for path issues (#3038)

Additional fix for PR#2972 (#3044)

[Relay] Add printing for ADT Type (#3030)

* Update pretty_printer.cc

* Update pretty_printer.cc

Implement relay nn.bias_add compute in C++ (#3027)

* Implement nn.bias_add compute in C++

* Address comments

* Remove unnecessary check

Support Deriving channels when it is not provided in AlterLayout. (#2972)

[Relay] Fix Fuse (#3035)

* save

* fix

* Update fuse_ops.cc

Update dmlc-core, fix default ctors of NodeEntry  (#3017)

Ensure interpreted functions can take values that are not TensorValues (#3015)

Add caffe2 nnvm frontend to CI (#3018)

Update expr.h (#3031)

Simplify TF get_output_names (#3025)

[Relay] Fix BatchMatMulRel typerelation (#3032)

return false mean retry in the future, and in the case of error, it should be report ASAP, not retry.

[ARITH] Fix x||!x for comparisons in rewrite simplifier (#3029)

[DOC] Add Android Tutorial (#2977)

* fix APP_STL for latest android ndk

* add vulkan sdk for tutorial

* add android tutorial

* fix of invalid input layer name

* update relay build opt_level 1 -> 3

[Relay] Add compiler pass tutorial docs (#2746)

* Add Relay compiler pass tutorial docs

* Add Python API hook wrapping step

* Incorporate feedback

* More doc iteration

* Mooooore iteration

* Rewrite `runtime.md` in rst

[Relay] use unordered_map instead of map in ANF (#3024)

[RUST][FRONTEND] Fix resnet example (#3000)

Due to the previous changes the frontend resnet example failed to build.  So this patch

1) fixes it
2) adds ~~a local `run_tests.sh` to remedy non-existence of MXNet CI (used in python build example)~~ the example build to CI with random weights and a flag for pretrained resnet weights

Please review: @tqchen @nhynes @kazimuth

[COMMUNITY] @hlu1 -> Reviewer (#3021)

[Heterogeneous][Bugfix] Fix bug of wrongly generated device_map (#2990)

* fix bug of device_index

* cpplint

* nose

* Update test_pass_annotation.py

* fix name of testcase

* delete comment

[Relay][Text Format] Pretty Printer Smart Inlining (#2881)

[Bugfix] Fix caffe2 nnvm frontend (#2996)

[Relay] C++ GraphRuntimeCodegen, Deprecate Python2 (#2986)

* [Relay] C++ GraphRuntimeCodegen

* [Test] Deprecate Python2

* [Python3] Add Py2 check

* Update _pyversion.py

* [Python3] Update test

[Relay] Add gradient operator tutorial docs (#2751)

* Add gradient operator tutorial docs

* Incorporate Steven's and Ziheng's feedback

* Remove TODO about `collapse_sum_like`

* Add more examples

[NIT] fix relay invariant error message (#3011)

* [NIT] fix common error message

Extremely minor issue, but this is one of the most common error messages people see...

* Update type_solver.cc

trigger CI

[AutoTVM] Fix typos (#3014)

Signed-off-by: Ce Gao <gaoce@caicloud.io>

Support SpaceToBatchND/BatchToSpaceND in Tensorflow frontend (#2943)

Thanks @alexeyr . This is now merged.

[AutoTVM] fix argument type for curve feature (#3004)

[REFACTOR] Use more TypedPackedFuncs (#2981)

* Add `set_body_simple` to Registry, refactor a lot of code to use it

* Add more types to Relay PackedFuncs

* Add Registry::set_body_method to easily make Node methods into
PackedFuncs

* Add set_body_method, set_body_node_method; start typing api_lang

* Add some docs, remove unused script

* Fix mysterious linter problem

* Touch up api_ir.cc

* Fix some issues with TOPI argument counts

* Revert changes to topi.cc to avoid problems with optional arguments

* A little more cleanup

* Type more of the api _ functions

* Whitespace

* Finalize names and docs for new registry helpers

* Update docs

fix java checkstyle version (#2998)

add output format to ndk build func (#2999)

Expose backtrace symbols in Debug mode (#3001)

Update let_list.h (#2987)

add document (#2714)

lint

lint

save

save

add more case

save

error

lint

lint

commit

do

lint

save

fix lint

wrap it back as func

lint

save

remove dead comment

fix style

fix lint

Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
address review feedback

pe now handle freevar. as a result preserving function is now trivial.

test

add basic test, implement pretty printing for generic function

test

lint

fix segfault

save

save

do

test

fix another error

address comment

commit

save

address review feedback

add test for invalidate, fix error in lookup

rename cont to boduy

fix error and add regression test

fix error, add test case

Update src/relay/pass/partial_eval.cc

Co-Authored-By: MarisaKirisame <lolisa@marisa.moe>
fix lint

remove extra line

save

save

[Relay] Add expr_visitor, fix expr_functor exponential blowup problem (#2988)

* save

* lint

[Relay] InferCorrectLayout for strided_slice & min_num_branches option in CombineParallelConv2D (#2961)

* [Relay] InferCorrectLayout for strided_slice

* Add min_num_branches option to CombineParallelConv2D

* Return undef if original layout contains splitted axes

[Relay][RFC][Fix] Rename RelayPrint to AsText (#2984)