[Relay] Conv2d grad (#3636)

* [Relay] Conv2d grad

* Fix test

* Fix first order gradient

Add build_create_shared_func to tvm/contrib/cc.py (#3840)

Improvements in conda recipe (#3791)

[TEST] Not assuming HOME in tvm/download.py (#3803)

* Not assuming HOME in tvm/download.py

* Trigger notification

[runtime] reduce set_input and set_input_zero_copy overhead (#3805)

[TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative (#3676)

* [TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative

* Improve code readability

Support MKL on Windows (#3837)

[AutoTVM] Fix database APIs (#3821)

* [AutoTVM] Fix database APIs

* Refactor the byte conversion

[Relay][Keras] Dot (#3668)

* [Relay][Keras] Dot

* fix reshape

* fix comments

[Bugfix][Keras] axis of softmax (#3834)

[VTA] Parameterization and bug fix in TensorLoad module (#3841)

update docs for installation for CUDA (#3832)

Fix inconsistent python/cpp API behavior for if_then_else, power (#3829)

* fix inconsistent python/cpp APIs for if_then_else

* fix error message

* fix power consistency

* fix

* fix bug

* add test

[VTA][TSIM] Introduce Virtual Memory for TSIM Driver (#3686)

* initial virtual memory;

* initial integration;

* include the header file in cmake;

* implement allocation with virtual to logical address mapping;

* virtual memory for tsim_driver;

* implement the missing memory release function;

* readability improvement;

* readability improvement;

* address review comments;

* improved robustness in virtual memory allocation;

* remove VTA_TSIM_USE_VIRTUAL_MEMORY macro and use virtual memory for tsim by default;

* link tvm against vta library;

* merge with master

* build virtual memory system without linking tvm against vta;

* minor change;

* reuse VTA_PAGE_BYTES;

* using DRAM class from sim_driver as VirtualMemoryManager;

* satisfy linter;

* add comments in code;

* undo changes to Makefile

* undo changes to Makefile

* retrigger ci;

* retrigger ci;

* directly call into VirtualMemoryManager::Global()

Fix code comment of operators (#3830)

Fixed repo change for llvm-9 to resolve missing dependency issue when building images with llvm enabled (#3826)

Update hybrid_script.rst (#3799)

[Legalize][QNN] Pass out_types to Legalize. Update QNN requantize to read from out_types. (#3782)

[CODE] Halide attributions (#3824)

[Relay] Fix typo in parser (#3785)

[TVM] Fix warnings (#3817)

transform.h:118:3: warning: 'const' type qualifier on return type has no
effect
attrs.h:68:3: note: expanded from macro 'TVM_DECLARE_ATTRS'
node.h:244:3: note: expanded from macro 'TVM_DECLARE_NODE_TYPE_INFO'

transform.h:95:3: warning: extra ';' after member function definition
attrs.h:68:62: note: expanded from macro 'TVM_DECLARE_ATTRS'

[TOPI][Relay][TensorFlow] Add OneHot operator (#3781)

* Add one-hot to Relay

* topi implementation

* Working

* add topi test

* Add TF test

* Fix check

* fix linting issues

* fix documentation

* Fix documentation

* Add support for on_value, off_value, axis, dtype

* Add full support for axis

* Fix compute and update test_forward

* Move on_value and off_value to inputs

* Add topi test

* Update tests

* Update docs

* Fix style

* re-enable tests

* Add one_hot to mxnet converter

Changed topi cc resize to python implementation with new features. (#3788)

[TOPI] Use cblas for dense and batch_matmul when "cblas" is in the target libraries (#3787)

* Support cblas library in dense

* start to add support for generic batch_matmul compute

* Add x86 override for batch_matmul

* Fix linting

* reset file

* Fix typos

* dummy change to re-trigger CI

[Relay][VM]VM Profiler (#3727)

* [Relay][VM]VM debugger

* Report mean/min/max for op duration

* Typos

* Lint

* Lint

* Lint

* Support build debug VM in CMake

* Lint

* Enable VM debug in unit test

* Disable debug vm test until new docker image is built

* Add device sync code

* Fix qnn unit test

* Disable vm debug by default

* Rename files

* Rename classes

* Fix comment

* Fix comment

add gfx906 bc (#3808)

[dep] psutil (#3780)

[CI] Temporary disable rust test (#3809)

[CI] Solve occasional CI issue when pad value is all 0 (#3801)

[Relay][Frontend][TFLite] transpose implementation for tflite.py (#3705)

* transpose implementation for tflite.py

* add TRANSPOSE to convert_map

* Fix Unexpected keyword argument 'axis' in function call

* add test for transpose oprator

* Add the parameter 'axes' handling

* add test for transpose oprator

* solve conflict within CONTRIBUTORS.md

* Improve the if condition for empty tuple

* Add one unit test to cover empty tuple

* solve conflict within CONTRIBUTORS.md

Fixed onnx test failures when run on a cpu backend (#3764)

* Fixed onnx test failures when run on a cpu backend

* Updated check_torch_conversion function to include output comparison

[CoreML] Solve CoreML frontend issue of image scaler and padding so that Mobilenet mlmodel can work correctly. (#3800)

[TOPI, CUDA] Improve conv2d_transpose schedule template (#3796)

[VTA][TSIM] parallel TSIM hardware compilation with macOS and debug support (#3797)

* [VTA][TSIM] parallel hardware compilation with macOS and debug support

* simplify

[Community] Hao Lu -> Committer (#3789)

Fix ArgBinder assert order (#3794)

[BUGFIX] Fix for NoneType Target (#3792)

[Relay][Quantization] Fix out-of-date realize (#3790)

QNN quantize and dequantize operators. (#3745)

* QNN quantize and dequantize operators.

* addressing review comments.

* addressing review comments.

* Adding new line at the end of the file.

* Adhering to styling guidelines.

* Adding name to contributors.

* Fixing lint issue.

* Fixing file name.

* Removing unnecessary code.

[Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend (#3760)

* [Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend

* Dummy change to retrigger integration test

[QUANTIZE] Refactor quantization codebase and fix model accuracy (#3543)

* Refactor.

* update

* update

* update

* update

* update

* update

[QNN] InferType changes that missed CI. (#3779)

[QNN] Concatenate operator (#3730)

[Relay][Legalize][ARM_CPU] Handling NHWC layout for arm_cpu. (#3754)

[VTA][Chisel] scale dram base address in hardware instead of runtime (#3772)

* [VTA][Chisel] scale dram base address in hardware instead of runtime

* remove trailing spaces

fix dense tuning (#3768)

fix (#3769)

[Relay][Frontend][TensorFlow] Support BatchMatMul with input dimensions larger than 3 (#3732)

* Support BatchMatMul with shapes greater than length 3

* Fixes

* Add tests

* Remove dependency on Python3

* Clean up

* Merge with master

* Resolve comments

syntax fix (#3765)

[VTA][Chisel] run all unittests by default (#3766)

* [VTA][Chisel] run all unittests by default

* better naming

* add generated unittest folder to clean rule

fix some pass docs (#3767)

[VTA][TSIM][Build] Towards TSIM CI testing (#3704)

* building TSIM specific library along with fast simulator to quickly switch between dlls

* cmake controlled TSIM libraries

* always build tsim driver in either simulation modes

* build DLLs based on CMAKE flags

* updating the jenkinsfile

* small restructuring

* reducing the cmake flags

* update instructions

* reverting to 3 flags

* update Jenkinsfile

* adding new line

* enabling TSIM unit and integration tests

* fix description

* temporarily disabling task_python_vta tests in CPU Build stage

* move CPU tests in unit test stage

* stage  reorg

* better make

* disabling TSIM tests for now

* reverting some restructuring

* fix

[VTA] [Chisel] Improved Data Gen, Added ALU Test (#3743)

* added alutest

* fix indent

* name change for cycle

* improved data gen and infra

* added alutest

* fix indent

* name change for cycle

* improved data gen and infra

* fix space

* fix indent

* fixes

* aluRef

* fix randomarary

* add

* Revert "add"

This reverts commit 87077daebbe055dee11f80e37da3a6291138e0f0.

* Revert "fix randomarary"

This reverts commit df386c1e660eb6ebcff1a1f905610573676f1589.

* Revert "aluRef"

This reverts commit 8665f0d4a7b12b796b2cb1ca6bf9cfe5613ee389.

* should fix dlmc-core

fix mistype (#3763)

 [ARITH] Simplify casts of constants 0 and 1 (#3758)

* [ARITH] Simplify casts of constants 0 and 1

* [EXPR] is_const_value to check whether non-ints are consts

* Revert "[EXPR] is_const_value to check whether non-ints are consts"

This reverts commit 7e1b3462e3f74fd0afb1541d72978107cfa23c30.

* Use tvm::cast

[Relay] SpaceToDepth and MirrorPad Operators (#3718)

* Added relay and topi mirror_pad operator.

* Added mirror_padding to tensorflow frontend.

* Added mirrorpad testing in tensorflow frontent.

* Added space_to_depth in tf frontend.

* Added tests for spacetodepth.

* spacetodepth bug fix.

* Lint fix

* Added mirror pad python attrs.

* Pad code formatting.

* Syntax improvement

* Hopefully last lint fix

Don't replace reduction init axis with new axis if bound to a thread. (#3408)

* Don't replace reduction init axis with new axis if bound to a thread.

* Linter.

* Reduce bind test case.

* Guard test on CUDA support.

* [CUDA TE TESTS] Add rfactor predicate test, add global bx and tx.

* [CUDA TE TESTS] Add loop partition test for simple rfactor case.

[Bugfix] tvm.scan follow by tvm.compute segfault (#3723)

* [bugfix] tvm.scan follow by tvm.compute segfault

* more strict bound condition check

* access k + 1 -> k

* fix scan test

Fix the potential index overflow (#3751)

Revert compile_cmd kwarg name change (#3746)

* Revert compile_cmd kwarg name change

* Fix binutil tests

add reviewer (#3755)

Improve graph tuner dealing with Tuple (#3649)

* Improve graph tuner dealing with Tuple

* Add test case

* Move some data out of _base.py

* Fix lint

[TOPI] Update tophub according to the fix in schedule (opencl and rocm) (#3752)

[Relay] Fix Partial Evaluator, Add stricter checking for CheckWellFormed (#3749)

* aot

* save

* save

* fix test

* remove vta changes

* lint

use pip3 for python3 (#3742)

* use pip3 for python3

* make python3 as default

[Relay] [Training] Fix ad for concatenate (#3729)

* reproduce error

* fix

* lint

* lint

 Fix typo in ir_pass.h  (#3741)

[VTA] [Chisel] Bug fix for VME Shell (#3737)

* fix

* fixes

[CI] Update docker image ci_cpu,i386 to include verilator (#3738)

[QNN] Requantize operator (#3531)

* [Relay] [Quantization] WIP - Common files for the qauntization work.

* [Relay] [Quantization] WIP - Prototyping requantize op.

* Requantize operator implementation.

Requantize converts one quantized tensor representation to another quantized
representation. The PR has following implementation features

- Requantize operator defined in qnn namespace - relay.qnn.requantize
- Lowering of the requantize to exisiting Relay operators
- Integer fixed point implementation of requantize
    - Two rounding modes - FE_UPWARDS (round towards infinity) and
    FE_AWAY_FROM_ZERO (std::round behavior)
- Floating point implementation as well, that can act as reference or can be
used for devices when FP32 computation is not used.
- Unit test cases

Relevant Issue - https://github.com/dmlc/tvm/issues/2351

Credit to TFLite and GemmLowp to provide reference implementations.

* Typo and lint fixes.

* Doc fix.

* Uncommenting the lint script (fixing mistake).

* Modifying the unit tests.

* Moving C++ files into src/relay/qnn

* Moving python files to python/tvm/relay/qnn. Some minor fixes.

* Moving the attrs.h inside the include directory.

* Pushing files that I forgot earlier. Changing util location.

* Incorporating comments. API change. Lint fixes.

* Modifying the GetFixedPointMultiplierShift API as per comments.

* Forgot the dialect change.

* Changing rewrite to qnn_lower.

* Renaming Quantize to Qnn for clarity.

* Remove use_int_domain.

* Incorportaing review comments.

* Adding API doc for QNN dialect.

* Move the qnn_lower pass to transform namespace.

* Moving from expr to module. Adding namespace in C++.

* Minor sentence rewrites. Added qnn namespace.

* Added the API doc.

* Chanding default out_dtype to int8. Adding a test with in/out_dtype as uint8.

* Style fixes. Better error messages.

* Adding documentation.

* More documentation fixes.

* Adding out dtype check for requantize.

* Adding corner case for FP32 to fixed point conversion.

* Adding extra line.

* Documentation fix.

* Adding static inline.

* Incorporating jackwish comment. Removed idtype from requantize lowering.

* Removing Quantize/Dequantize code. Restricting Requantize to (u)int8/int32.

* Style fixes.

* Fix the docs.

* Move to Legalize API.

[DOCKER] Fix missing apt https transport support (#3735)

* [DOCKER] Fix missing apt https transport support

* [DOCKER] Drop superflous explicit sudo's

Remove sccache from Rust install (#3728)

Tutorial: Build a Graph Convolutional Network on TVM (#3681)

* add build gcn tutorial

* add dgl to docker file

* add dgl to docker file

* Apply suggestions from code review

Co-Authored-By: 雾雨魔理沙 <lolisa@marisa.moe>
* add dgl to docker file

* rerun checks

* Revert "add build gcn tutorial"

This reverts commit dbe8b5f0e02a13fdd586a9faa58fd1326653afb0.

* resolve git issue

* resolve git issue

* resolve git issue

* apply marisa's comment

[VTA][Dockerfile] Chisel dependencies for TSIM CI (#3721)

Take zero extent loops as NoOp and remove it and add unittest for the same (#3724)

[Relay/TOPI][Op] Add variance and layer norm op (#3700)

* Add LayerNorm op

* update

* fix

* Add mean_std and mean_variance

* add std and update doc

* add license

* x

* lint

* x

* fix

* fix doc

[Frontend][MXNet] Fix mxnet converter for hybridblock and add div_sqrt_dim (#3701)

* Fix mxnet converter for hybrid block

* tweak

* fix rebase

* fix

* add test

fix name (#3719)

[Relay] Legalize pass (#3672)

* [Relay] Rewrite pass.

This pass transforms an expression to other expression.

This pass has many usecases
 * Replace a expr to another expr, if the other expr has faster performance.
 * For ASICs, we might want to modify the inputs to adapt to the HW support.
 * Alter op layout can work in conjunction with this pass.

The supporting usecase is the Intel i8 x i8 conv. Intel HW supports u8 x i8 conv
in HW. Using this pass, we can replace an i8 x i8 conv to a sequence of
operators where one of the operators is now u8 x i8 conv. This will also help
automatic quantizaion performance.

* Better API name.

* Removing the conv2d legalization for x86. Will send a separate PR.

* Test name changes.

* Registering one funtion to register FTVMLegalize.

* Better comments.

Fix (2/2) [TOPI] conv2d schedule code (#3648) (#3717)

* Fix the tile_rx and tile_ry issue.

    Note that this patch depends on pull request #9 in tvm-distro.

Update dmlc-core to the latest commit (#3716)

This includes changes to build TVM runtime for Hexagon.

[relay][frontend] clean up tf frontend (#3710)

* clean up tf frontend

* fix get_relay_op

safe to remove thread related headers? (#3713)

[Bugfix] Fix the issue that function pass modifies original module (#3712)

* fix

* fix interpreter

[Relay] [TOPI] `{relay,topi}.nn.sparse_transpose` for **Square** CSR matrices (#3707)

* add build gcn tutorial

* add transpose operator for square sparse matrices

* remove extra files

* change loop tag

* comply with lint

* comply with lint -- line too long

* comply with lint

* lint check

* lint check

* lint check

* apply marisa and theirry's reviews

Export tvm::relay::OpRegistry::OpRegistry (#3711)

[CI] Update GPU docker (#3709)

Quit and clean when TVM is interrupted (#3640)

Metal reinterpret fix (#3706)

[Relay] Partial Evaluator do concatenate, and has better termination checker for scalar. (#3703)

* save

lint some

lint

lint

add charrnn

save

save

save

remove debug

remove debug

remove space

refactor

save

rewrite dce

* reset files

* join -> meet

* lint

* address review comment

* wordsmith

[TOPI] Update softmax compute and CPU schedule (#3680)

* Update Softmax compute and CPU schedule

* Add C++ compute

* Fix schedule

* Update CUDA and OpenGL schedules

* Fix log_softmax

* Fix hls and opengl schedules

* Fix CUDA schedule

Fix gather_nd in Relay (#3442)

* Fix gather_nd in Relay

* Add test cases for gather_nd.

[VTA] [Chisel] Added Chisel Module Unit Test Infrastructure (#3698)

* added wholething

* changed build and makefile

Add an option to build with -pthread (ON by default) (#3671)

[Relay] [Error] Fix error in partial evaluator (#3693)

* fix

* lint

[AutoTVM] Fix hang/crash issues on feature extraction (#3689)

* [AutoTVM] Fix hang/crash issues on feature extraction

* Update xgboost_cost_model.py

* fix lint

Align the naming rule for OpAttributeUnImplemented (#3695)

[DOCKER] Add DGL to {ci_gpu, demo_cpu, demo_gpu} docker images (#3692)

* add dgl to docker file

* add dgl to docker file

[TOPI] Memoize winograd matrix (#3687)

* [TOPI] Memoize winograd matrix

* lint

* Fix name

[Relay][Quantization] KL-divergence-based per-layer calibration (#3538)

* [Relay][Quantization] Support floating-point scale

* [Relay][Quantization] KL-divergence calibration on dataset

* Fix unhandled LeftShift case in QuantizeRealize

* Fix lint

* drop QBias

* fix lint

* address comments

* address comments

* Update comments

* address comments

* lint

* kQIdentity = 0