Implementation of tile for TFLite (#3814)

[Relay][Any] Add shape func for dynamic shape (#3606)

* init shape func in interpreter and vm compiler

* Update interpreter

* fix

* lint

* lint

* fix

* remove hack

* update

* fix

* fix

* update

* address comments & update for shape_of

* fix lint

* update

* fix hybrid

* lint

* fix bug & add take shape func

* lint

* lint

* update

* fix flaky test

* add todo

[NNVM][FRONTEND][ONNX] Fix PReLU conversion (#3813)

[Relay] Bitserial ops (#3844)

* Added arm_cpu NHWC schedules.

* Fixed kernel shape legalization.

* Added bitserial ops to relay.

* Snapshot and more missing files.

* Added dense testing.

* Added tests

* Added ASF header to new files.

* cc lint

* Pylint change.

* pylint fixes.

* Change arm legalize test.

* Added assert check to arm legalize.

* Added better documentation, fixed some bad style

* Reverted arm conv2d nhwc changes.

Add not operator for the frontend/onnx.py (#3836)

[VTA][TSIM] add virtual memory support to tsim example (#3868)

* [VTA][TSIM] add virtual memory support to tsim example

* fix identation

* remove USE_TSIM macro and use 32-bit addr instead

Improve numerical gradient check (#3856)

Add more cases to keras _convert_reshape (#3846)

[QNN] Concat - Refactoring to C++ (#3819)

[Relay][QNN] Moving Conv, Dense, Concatenate InferTypes to header for sharing. (#3783)

[Relay][QNN] QNNtoRelay & QNNLegalize Pass utility using Relay Legalize API. (#3838)

codegen_spirv support Call::reinterpret (#3795)

[VTA] Infinite recursive device_api.ext_dev call fix. (#3843)

Issue
when try vta on fpga board, would see a Infinite recursive
device_api.ext_dev issue that cause stack overflow and vta
failed.

Analysis:
device_api.ext_dev function in rpc_server.py is use to load
vta library, once vta library get load, device_api.ext_dev would
get replaced with vta function by vta library, vta device_api.cc
did such work, but because a logic issue in VTA.cmake, the said file
not get compiled, then vta would keep failing on rpc_server.py.

Solution:
fix the logic issue in VTA.cmake.

[VTA] Fix RewriteForceSerial Function logic issue. (#3854)

Issue:
RewriteForceSerial is a debug function to force instructions
to be serialize instead of parrallel running, by doing so we
can isolate some parallel problem or do performance compare
between parallel and serialize. But this function have some
problem, once get enabled by set debug flag, vta would stuck
when running on pynq board.

Analysis:
once enable RewriteForceSerial, the dependency logic is different
with default one, but we still use same logic to generate FINISH
and other logic, this would cause dead lock.

Solution:
give a different dependency settings when enable RewriteForceSerial.

[Relay] Conv2d grad (#3636)

* [Relay] Conv2d grad

* Fix test

* Fix first order gradient

Add build_create_shared_func to tvm/contrib/cc.py (#3840)

Improvements in conda recipe (#3791)

[TEST] Not assuming HOME in tvm/download.py (#3803)

* Not assuming HOME in tvm/download.py

* Trigger notification

[runtime] reduce set_input and set_input_zero_copy overhead (#3805)

[TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative (#3676)

* [TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative

* Improve code readability

Support MKL on Windows (#3837)

[AutoTVM] Fix database APIs (#3821)

* [AutoTVM] Fix database APIs

* Refactor the byte conversion

[Relay][Keras] Dot (#3668)

* [Relay][Keras] Dot

* fix reshape

* fix comments

[Bugfix][Keras] axis of softmax (#3834)

[VTA] Parameterization and bug fix in TensorLoad module (#3841)

update docs for installation for CUDA (#3832)

Fix inconsistent python/cpp API behavior for if_then_else, power (#3829)

* fix inconsistent python/cpp APIs for if_then_else

* fix error message

* fix power consistency

* fix

* fix bug

* add test

[VTA][TSIM] Introduce Virtual Memory for TSIM Driver (#3686)

* initial virtual memory;

* initial integration;

* include the header file in cmake;

* implement allocation with virtual to logical address mapping;

* virtual memory for tsim_driver;

* implement the missing memory release function;

* readability improvement;

* readability improvement;

* address review comments;

* improved robustness in virtual memory allocation;

* remove VTA_TSIM_USE_VIRTUAL_MEMORY macro and use virtual memory for tsim by default;

* link tvm against vta library;

* merge with master

* build virtual memory system without linking tvm against vta;

* minor change;

* reuse VTA_PAGE_BYTES;

* using DRAM class from sim_driver as VirtualMemoryManager;

* satisfy linter;

* add comments in code;

* undo changes to Makefile

* undo changes to Makefile

* retrigger ci;

* retrigger ci;

* directly call into VirtualMemoryManager::Global()

Fix code comment of operators (#3830)

Fixed repo change for llvm-9 to resolve missing dependency issue when building images with llvm enabled (#3826)

Update hybrid_script.rst (#3799)

[Legalize][QNN] Pass out_types to Legalize. Update QNN requantize to read from out_types. (#3782)

[CODE] Halide attributions (#3824)

[Relay] Fix typo in parser (#3785)

[TVM] Fix warnings (#3817)

transform.h:118:3: warning: 'const' type qualifier on return type has no
effect
attrs.h:68:3: note: expanded from macro 'TVM_DECLARE_ATTRS'
node.h:244:3: note: expanded from macro 'TVM_DECLARE_NODE_TYPE_INFO'

transform.h:95:3: warning: extra ';' after member function definition
attrs.h:68:62: note: expanded from macro 'TVM_DECLARE_ATTRS'

[TOPI][Relay][TensorFlow] Add OneHot operator (#3781)

* Add one-hot to Relay

* topi implementation

* Working

* add topi test

* Add TF test

* Fix check

* fix linting issues

* fix documentation

* Fix documentation

* Add support for on_value, off_value, axis, dtype

* Add full support for axis

* Fix compute and update test_forward

* Move on_value and off_value to inputs

* Add topi test

* Update tests

* Update docs

* Fix style

* re-enable tests

* Add one_hot to mxnet converter

Changed topi cc resize to python implementation with new features. (#3788)

[TOPI] Use cblas for dense and batch_matmul when "cblas" is in the target libraries (#3787)

* Support cblas library in dense

* start to add support for generic batch_matmul compute

* Add x86 override for batch_matmul

* Fix linting

* reset file

* Fix typos

* dummy change to re-trigger CI

[Relay][VM]VM Profiler (#3727)

* [Relay][VM]VM debugger

* Report mean/min/max for op duration

* Typos

* Lint

* Lint

* Lint

* Support build debug VM in CMake

* Lint

* Enable VM debug in unit test

* Disable debug vm test until new docker image is built

* Add device sync code

* Fix qnn unit test

* Disable vm debug by default

* Rename files

* Rename classes

* Fix comment

* Fix comment

add gfx906 bc (#3808)

[dep] psutil (#3780)

[CI] Temporary disable rust test (#3809)

[CI] Solve occasional CI issue when pad value is all 0 (#3801)

[Relay][Frontend][TFLite] transpose implementation for tflite.py (#3705)

* transpose implementation for tflite.py

* add TRANSPOSE to convert_map

* Fix Unexpected keyword argument 'axis' in function call

* add test for transpose oprator

* Add the parameter 'axes' handling

* add test for transpose oprator

* solve conflict within CONTRIBUTORS.md

* Improve the if condition for empty tuple

* Add one unit test to cover empty tuple

* solve conflict within CONTRIBUTORS.md

Fixed onnx test failures when run on a cpu backend (#3764)

* Fixed onnx test failures when run on a cpu backend

* Updated check_torch_conversion function to include output comparison

[CoreML] Solve CoreML frontend issue of image scaler and padding so that Mobilenet mlmodel can work correctly. (#3800)

[TOPI, CUDA] Improve conv2d_transpose schedule template (#3796)

[VTA][TSIM] parallel TSIM hardware compilation with macOS and debug support (#3797)

* [VTA][TSIM] parallel hardware compilation with macOS and debug support

* simplify

[Community] Hao Lu -> Committer (#3789)

Fix ArgBinder assert order (#3794)

[BUGFIX] Fix for NoneType Target (#3792)

[Relay][Quantization] Fix out-of-date realize (#3790)

QNN quantize and dequantize operators. (#3745)

* QNN quantize and dequantize operators.

* addressing review comments.

* addressing review comments.

* Adding new line at the end of the file.

* Adhering to styling guidelines.

* Adding name to contributors.

* Fixing lint issue.

* Fixing file name.

* Removing unnecessary code.

[Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend (#3760)

* [Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend

* Dummy change to retrigger integration test

[QUANTIZE] Refactor quantization codebase and fix model accuracy (#3543)

* Refactor.

* update

* update

* update

* update

* update

* update

[QNN] InferType changes that missed CI. (#3779)

[QNN] Concatenate operator (#3730)

[Relay][Legalize][ARM_CPU] Handling NHWC layout for arm_cpu. (#3754)

[VTA][Chisel] scale dram base address in hardware instead of runtime (#3772)

* [VTA][Chisel] scale dram base address in hardware instead of runtime

* remove trailing spaces

fix dense tuning (#3768)

fix (#3769)

[Relay][Frontend][TensorFlow] Support BatchMatMul with input dimensions larger than 3 (#3732)

* Support BatchMatMul with shapes greater than length 3

* Fixes

* Add tests

* Remove dependency on Python3

* Clean up

* Merge with master

* Resolve comments

syntax fix (#3765)

[VTA][Chisel] run all unittests by default (#3766)

* [VTA][Chisel] run all unittests by default

* better naming

* add generated unittest folder to clean rule

fix some pass docs (#3767)

[VTA][TSIM][Build] Towards TSIM CI testing (#3704)

* building TSIM specific library along with fast simulator to quickly switch between dlls

* cmake controlled TSIM libraries

* always build tsim driver in either simulation modes

* build DLLs based on CMAKE flags

* updating the jenkinsfile

* small restructuring

* reducing the cmake flags

* update instructions

* reverting to 3 flags

* update Jenkinsfile

* adding new line

* enabling TSIM unit and integration tests

* fix description

* temporarily disabling task_python_vta tests in CPU Build stage

* move CPU tests in unit test stage

* stage  reorg

* better make

* disabling TSIM tests for now

* reverting some restructuring

* fix

[VTA] [Chisel] Improved Data Gen, Added ALU Test (#3743)

* added alutest

* fix indent

* name change for cycle

* improved data gen and infra

* added alutest

* fix indent

* name change for cycle

* improved data gen and infra

* fix space

* fix indent

* fixes

* aluRef

* fix randomarary

* add

* Revert "add"

This reverts commit 87077daebbe055dee11f80e37da3a6291138e0f0.

* Revert "fix randomarary"

This reverts commit df386c1e660eb6ebcff1a1f905610573676f1589.

* Revert "aluRef"

This reverts commit 8665f0d4a7b12b796b2cb1ca6bf9cfe5613ee389.

* should fix dlmc-core

fix mistype (#3763)

 [ARITH] Simplify casts of constants 0 and 1 (#3758)

* [ARITH] Simplify casts of constants 0 and 1

* [EXPR] is_const_value to check whether non-ints are consts

* Revert "[EXPR] is_const_value to check whether non-ints are consts"

This reverts commit 7e1b3462e3f74fd0afb1541d72978107cfa23c30.

* Use tvm::cast

[Relay] SpaceToDepth and MirrorPad Operators (#3718)

* Added relay and topi mirror_pad operator.

* Added mirror_padding to tensorflow frontend.

* Added mirrorpad testing in tensorflow frontent.

* Added space_to_depth in tf frontend.

* Added tests for spacetodepth.

* spacetodepth bug fix.

* Lint fix

* Added mirror pad python attrs.

* Pad code formatting.

* Syntax improvement

* Hopefully last lint fix

Don't replace reduction init axis with new axis if bound to a thread. (#3408)

* Don't replace reduction init axis with new axis if bound to a thread.

* Linter.

* Reduce bind test case.

* Guard test on CUDA support.

* [CUDA TE TESTS] Add rfactor predicate test, add global bx and tx.

* [CUDA TE TESTS] Add loop partition test for simple rfactor case.

[Bugfix] tvm.scan follow by tvm.compute segfault (#3723)

* [bugfix] tvm.scan follow by tvm.compute segfault

* more strict bound condition check

* access k + 1 -> k

* fix scan test

Fix the potential index overflow (#3751)

Revert compile_cmd kwarg name change (#3746)

* Revert compile_cmd kwarg name change

* Fix binutil tests

add reviewer (#3755)

Improve graph tuner dealing with Tuple (#3649)

* Improve graph tuner dealing with Tuple

* Add test case

* Move some data out of _base.py

* Fix lint

[TOPI] Update tophub according to the fix in schedule (opencl and rocm) (#3752)

[Relay] Fix Partial Evaluator, Add stricter checking for CheckWellFormed (#3749)

* aot

* save

* save

* fix test

* remove vta changes

* lint

use pip3 for python3 (#3742)

* use pip3 for python3

* make python3 as default

[Relay] [Training] Fix ad for concatenate (#3729)

* reproduce error

* fix

* lint

* lint

 Fix typo in ir_pass.h  (#3741)

[VTA] [Chisel] Bug fix for VME Shell (#3737)

* fix

* fixes

[CI] Update docker image ci_cpu,i386 to include verilator (#3738)

[QNN] Requantize operator (#3531)

* [Relay] [Quantization] WIP - Common files for the qauntization work.

* [Relay] [Quantization] WIP - Prototyping requantize op.

* Requantize operator implementation.

Requantize converts one quantized tensor representation to another quantized
representation. The PR has following implementation features

- Requantize operator defined in qnn namespace - relay.qnn.requantize
- Lowering of the requantize to exisiting Relay operators
- Integer fixed point implementation of requantize
    - Two rounding modes - FE_UPWARDS (round towards infinity) and
    FE_AWAY_FROM_ZERO (std::round behavior)
- Floating point implementation as well, that can act as reference or can be
used for devices when FP32 computation is not used.
- Unit test cases

Relevant Issue - https://github.com/dmlc/tvm/issues/2351

Credit to TFLite and GemmLowp to provide reference implementations.

* Typo and lint fixes.

* Doc fix.

* Uncommenting the lint script (fixing mistake).

* Modifying the unit tests.

* Moving C++ files into src/relay/qnn

* Moving python files to python/tvm/relay/qnn. Some minor fixes.

* Moving the attrs.h inside the include directory.

* Pushing files that I forgot earlier. Changing util location.

* Incorporating comments. API change. Lint fixes.

* Modifying the GetFixedPointMultiplierShift API as per comments.

* Forgot the dialect change.

* Changing rewrite to qnn_lower.

* Renaming Quantize to Qnn for clarity.

* Remove use_int_domain.

* Incorportaing review comments.

* Adding API doc for QNN dialect.

* Move the qnn_lower pass to transform namespace.

* Moving from expr to module. Adding namespace in C++.

* Minor sentence rewrites. Added qnn namespace.

* Added the API doc.

* Chanding default out_dtype to int8. Adding a test with in/out_dtype as uint8.

* Style fixes. Better error messages.

* Adding documentation.

* More documentation fixes.

* Adding out dtype check for requantize.

* Adding corner case for FP32 to fixed point conversion.

* Adding extra line.

* Documentation fix.

* Adding static inline.

* Incorporating jackwish comment. Removed idtype from requantize lowering.

* Removing Quantize/Dequantize code. Restricting Requantize to (u)int8/int32.

* Style fixes.

* Fix the docs.

* Move to Legalize API.

[DOCKER] Fix missing apt https transport support (#3735)

* [DOCKER] Fix missing apt https transport support

* [DOCKER] Drop superflous explicit sudo's

Remove sccache from Rust install (#3728)

Tutorial: Build a Graph Convolutional Network on TVM (#3681)

* add build gcn tutorial

* add dgl to docker file

* add dgl to docker file

* Apply suggestions from code review

Co-Authored-By: 雾雨魔理沙 <lolisa@marisa.moe>
* add dgl to docker file

* rerun checks

* Revert "add build gcn tutorial"

This reverts commit dbe8b5f0e02a13fdd586a9faa58fd1326653afb0.

* resolve git issue

* resolve git issue

* resolve git issue

* apply marisa's comment

[VTA][Dockerfile] Chisel dependencies for TSIM CI (#3721)

Take zero extent loops as NoOp and remove it and add unittest for the same (#3724)

[Relay/TOPI][Op] Add variance and layer norm op (#3700)

* Add LayerNorm op

* update

* fix

* Add mean_std and mean_variance

* add std and update doc

* add license

* x

* lint

* x

* fix

* fix doc

[Frontend][MXNet] Fix mxnet converter for hybridblock and add div_sqrt_dim (#3701)

* Fix mxnet converter for hybrid block

* tweak

* fix rebase

* fix

* add test

fix name (#3719)

[Relay] Legalize pass (#3672)

* [Relay] Rewrite pass.

This pass transforms an expression to other expression.

This pass has many usecases
 * Replace a expr to another expr, if the other expr has faster performance.
 * For ASICs, we might want to modify the inputs to adapt to the HW support.
 * Alter op layout can work in conjunction with this pass.

The supporting usecase is the Intel i8 x i8 conv. Intel HW supports u8 x i8 conv
in HW. Using this pass, we can replace an i8 x i8 conv to a sequence of
operators where one of the operators is now u8 x i8 conv. This will also help
automatic quantizaion performance.

* Better API name.

* Removing the conv2d legalization for x86. Will send a separate PR.

* Test name changes.

* Registering one funtion to register FTVMLegalize.

* Better comments.

Fix (2/2) [TOPI] conv2d schedule code (#3648) (#3717)

* Fix the tile_rx and tile_ry issue.

    Note that this patch depends on pull request #9 in tvm-distro.

Update dmlc-core to the latest commit (#3716)

This includes changes to build TVM runtime for Hexagon.

[relay][frontend] clean up tf frontend (#3710)

* clean up tf frontend

* fix get_relay_op

safe to remove thread related headers? (#3713)

[Bugfix] Fix the issue that function pass modifies original module (#3712)

* fix

* fix interpreter

[Relay] [TOPI] `{relay,topi}.nn.sparse_transpose` for **Square** CSR matrices (#3707)

* add build gcn tutorial

* add transpose operator for square sparse matrices

* remove extra files

* change loop tag

* comply with lint

* comply with lint -- line too long

* comply with lint

* lint check

* lint check

* lint check

* apply marisa and theirry's reviews

Export tvm::relay::OpRegistry::OpRegistry (#3711)