[AutoScheduler] Improve hyperlinks in the tutorial (#6521)

* improve auto-scheduler tutorials

* improve tutorials

* fix lint

[LINT] Use fmt off to disable problematic black fmt (#6519)

QnnBinaryLayout bugfix + unit test (#6513)

An attempt to fix an issue which appeared when ConverLayout pass
runs on quantized binary operations like qnn.add:
def before():
    x = relay.var("x", shape=(2, 2))
    y = relay.var("y", shape=(1, 2))
    return relay.Function(
        [x, y],
        relay.qnn.op.add(
            x,
            y,
            lhs_scale=relay.const(0.0156863, "float32"),
            lhs_zero_point=relay.const(127, "int32"),
            rhs_scale=relay.const(0.0117647, "float32"),
            rhs_zero_point=relay.const(85, "int32"),
            output_scale=relay.const(0.0235294, "float32"),
            output_zero_point=relay.const(128, "int32"),
        ),
    )

The issue manifested itself as
  [bt] (2) ./src/tvm/build/libtvm.so(tvm::relay::qnn::QnnBinaryBroadcastLayout(tvm::Attrs const&, tvm::runtime::Array<tvm::tir::Layout, void> const&, tvm::runtime::Array<tvm::tir::Layout, void> const&, tvm::runtime::Array<tvm::Type, void> const&)+0xa9) [0x7fadc080d949]
  [bt] (1) ./src/tvm/build/libtvm.so(tvm::runtime::Array<tvm::tir::Layout, void>::operator[](long) const+0xb6) [0x7fadc0382996]
  [bt] (0) ./src/tvm/build/libtvm.so(+0xb50c12) [0x7fadc037cc12]
  File "/workspace/include/tvm/runtime/container.h", line 681
IndexError: Check failed: 0 <= i && i < p->size_: indexing 1 on an array of size 1

[CI] Cancel previous build if new commit has been pushed to a PR (#6518)

[TOPI] Fix declaration_conv2d_transpose_impl (#6428)

Update CI badge location (#6517)

[ANSOR] Auto-scheduler tutorial for GPU and necessary refactor/fix (#6512)

* add gpu tutorial

* refactor mutation in evolutionary search

* update

* update double matmul

* fix lint

* add double matmul test

* fix mutate compute location

* fix sketch search policy

* fix lint

* update

* address comments

* fix PruneInvalidStates

[tvmc] command line driver 'compile' (part 2/4) (#6302)

* [tvmc] command line driver 'compile' (part 2/4)

 * Add 'compile' subcommand into tvmc (tvm.driver.tvmc)
 * Add frontends: Keras, ONNX, TensorFlow, tflite, PyTorch
 * Add tests for the 'compile' subcommand
 * Enable command line driver tests as part of integration tests
 * Skip tests if the cross-compilation toolchain is not installed

Co-authored-by: Marcus Shawcroft <marcus.shawcroft@arm.com>
Co-authored-by: Matthew Barrett <Matthew.Barrett@arm.com>
Co-authored-by: Dmitriy Smirnov <dmitriy.smirnov@arm.com>
Co-authored-by: Luke Hutton <luke.hutton@arm.com>
Co-authored-by: Giuseppe Rossini <giuseppe.rossini@arm.com>
Co-authored-by: Matthew Barrett <matthew.barrett@arm.com>
Co-authored-by: Elen Kalda <elen.kalda@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
Co-authored-by: Jeremy Johnson <jeremy.johnson@arm.com>
Co-authored-by: Ina Dobreva <Ina.Dobreva@arm.com>
* tvmc: adjust TODOs

* tvmc: fix linting errors

* Address code-review comments

* Adjust pytest fixture to not break when there is no tensorflow

* Fix frontend tests, to cope with different frameworks in different images

* Apply suggestions from code review

Co-authored-by: Cody Yu <comaniac0422@gmail.com>
* Fix lint and code-review issues

* Re-format with black.

* tvmc: Move dependencies to extras_requires

Co-authored-by: Marcus Shawcroft <marcus.shawcroft@arm.com>
Co-authored-by: Matthew Barrett <Matthew.Barrett@arm.com>
Co-authored-by: Dmitriy Smirnov <dmitriy.smirnov@arm.com>
Co-authored-by: Luke Hutton <luke.hutton@arm.com>
Co-authored-by: Giuseppe Rossini <giuseppe.rossini@arm.com>
Co-authored-by: Elen Kalda <elen.kalda@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
Co-authored-by: Jeremy Johnson <jeremy.johnson@arm.com>
Co-authored-by: Ina Dobreva <Ina.Dobreva@arm.com>
Co-authored-by: Cody Yu <comaniac0422@gmail.com>

[RELAY][OP] roi_align operator alter layout (#6443)

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

Co-authored-by: honghua.cao <honghua.cao@streamcomputing.com>

Add beagleboard ai, thunderx and stm32mp1 to the arm_cpu target. (#6501)

* Add beagleboard ai, thunderx and stm32mp1 to the arm_cpu target.

Signed-off-by: Tom Gall <tom.gall@linaro.org>
* updates from black on target.py

Signed-off-by: Tom Gall <tom.gall@linaro.org>

[Relay]Allow dynamic batch for arm conv2d (#6509)

* Allow dynamic batch for arm conv2d

* Add TODO

Add several op mapping in PyTorch frontend (#6472)

* Add copy_ and clamp_ in PyTorch frontend

* add true_divide in PyTorch frontend

* more test cases for copy_

* fix format

* remove copy_

* fix format

* skip true_divide for torch < 1.5

[COMMUNITY] hypercubestart -> Reviewer (#6511)

improve doc for relay.nn.dense (#6508)

[RPC] Lazily import micro when starting an RPC server (#6505)

* [RPC] Lazily import micro when starting an RPC server

Since #6334 the RPC server cannot be started unless USE_MICRO is enabled. I've tracked this down to an import in `python/tvn/exec/rpc_server.py`: `from tvm import micro` in the top level list of imports. This will mean that we try to import micro when it's not been built. Fix this by lazily importing micro when initializing an rpc server with micro enabled.

Change-Id: I8f22d81e215cfe4ac0662b0a99bdf02a3e91f90c

* fix lint

Change-Id: I8b78b678374bc82b3b66a7b3595ed4f1684e7d90

[TIR][Hybrid] Hybrid Script Improvement (#6507)

* [TIR][Hybrid] update

* [TIR][Hybrid] python formatting

Switch CRC-CCITT libraries (#6499)

Add PT OD tutorial (#6500)

fix a typo in topi key (#6502)

[Frontend][Pytorch] Improve Pytorch frontend for object detection models (#6449)

* Improve Pytorch Frontend

* Add tests

* Fix pylint

* Improve data cast

* Use int64 for slice axis

* Fix lint

* fix roi_align(..., aligned=True)

* Minor fix

* Add e2e test

* Add asf header

* Minor change

* Use dynamic topk

* Improve test

* Rollback topk

* py format

* remove print

* More improve

* Fix test

* Improve addmm

* Fix test

* Fix format

* Fix format

* Fix test scatter

Co-authored-by: q.yao <streetyao@live.com>

[TUTORIAL][ANSOR] Using the template-free auto-scheduler on CPU (#6488)

* add tutorial

* add tutorial

* update

* Apply suggestions from code review

Co-authored-by: Cody Yu <comaniac0422@gmail.com>
* address comments

* fix bugs

* add the exmple for resuming the search

* fix lint

Co-authored-by: Cody Yu <comaniac0422@gmail.com>

extending FindVulkan to build RPC server on Windows correctly (#6498)

Co-authored-by: Mei Ye <meiandmimi@yahoo.com>
Co-authored-by: Mei Ye <meiandmimi@yahoo.com>

[BUILD] enhance build script for optional vta dep (#6497)

black format master (#6494)

bumping vta version (#6495)

Fix missing import in bifrost schedule (#6479)

[PY] GraphRuntime: Update the tutorials to the module-based interface (#6482)

* [PY] GraphRuntime: Update the tutorials to the module-based interface.

Also added document about the encouraged usage.
In particular, we encourage the following usage.

lib = relay.build(...)
gmod = graph_runtime.GraphModule(lib["default"](ctx))

I have changed most of the tutorials and apps.
Some follow up PRs are needed to update some of the tests code.

* Fix VTA tutorials

[Formatting] Fix python formatting issue (#6491)

After #6442 was merged, black started complaining about formatting of test_pass_convert_op_layout.py. Format here.

Change-Id: I04346fa06e22b722b619488b895b47c6943e3fd9

[BUG][ConvertLayout] Fix qnn.conv2d layout conversion too many values to unpack (#6442)

This patch follows a previous bugfix in #6419. I made a very simple oversight for qnn.conv2d in that tinfos also contains qnn parameters. Therefore, we need to extract data_info and weight_info differently.

Change-Id: Ib0ad01f427543371380d0bb604a77b5e0ec1103d

[FIX] Save tensor size with alignment (#6487)

[Minor] Fix typos in Ansor (#6425)

[BYOC][ETHOSN] Introduce further operator support (#6355)

* [BYOC][ETHOSN] Introduce further operator support

This PR introduces support for the following operators:
 - Quantized Fully Connected
 - Quantized Addition
 - Depth-to-space
 - Max/Avg Pool 2D
 - Quantized Relu (Clip)
 - Reshape
 - Quantized Sigmoid

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
* Skip tf imports if not available

Change-Id: I11bcf4a78014fa63e7b8e3b0cb00eecfd6cb7760

* ethos -> ethosn

Change-Id: I1fb1a11d0765f6d69f04c24b9c24e08665b8af6a

* Reduce random testing in test_addition

Change-Id: Id06063a0a0cf5f01356df23dc5d4bbbcb47cfa99

* Reduce random testing in test fullyconnected

Change-Id: I330408dfabc4bd804373f100581ce909ff724052

* Fix dumb mistake with rename

Change-Id: I2c5007be485b323116a0e8bab0f9106ea5ec834b

* Added comments to update the hashes in network tests when necessary

Change-Id: I13828c918c959daa492b9ed942a882c86d6690d1

* Fix github name

Change-Id: Idaa70ab9c2ec8db2828d51d15e7c23f28670ec82

* Use black formatting

Change-Id: I538171bd547a16395bef155a1dad28e8b3e347f2

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>

add git diff filter (#6484)

µTVM RPC server and Part 1 of AutoTVM compilation infrastructure (#6334)

[DOC] Fix Some Broken Web Links (#6475)

[Relay]Some backend improvements for PT OD models (#6464)

* Some backend improve for PT od models

* Fix clang

* Fix pylint

* Enable gpu tests

* Minor fix

[Formatting] Fix black script for Python formatting (#6469)

add aten::pixel_shuffle implementation (#6328) (#6468)

[RFC][Formatting] Add scripts for applying Black to the Python code. (#6437)

[ONNX] Update Slice op conversion to take strides into account, clean up tests (#6467)

Co-authored-by: masa <masa@pop-os.localdomain>

[CMAKE] Improve FindLLVM to handle llvm-prefix with space. (#6466)

* [CMAKE] Improve FindLLVM to handle llvm-prefix with space.

Useful for windows settings where llvm can sits in Program Files.
Also updated the windows compiler to use clang.

* Additional updates

[runtime] fix: remove anoymous namespace and rename BooleanToTranspose (#6465)

[RPC] Update RPC module to enable remote linking. (#6462)

Remote linking is useful when the linker is not available
on the host environment.

[COMMUNITY] lhutton1 -> Reviewer (#6461)

[COMMUNITY] comaniac -> Committer (#6463)

[ONNX] Add support for GatherElements conversion (#6446)

* support onnx GatherElements

* remove print

* run black

Co-authored-by: masa <masa@pop-os.localdomain>

[APPS] Add How to deploy graph runtime example under new module factory (#6459)

[FIX,TESTING] Add tvm.testing to the docs (#6458)

upstream (#6436)

[WINDOWS][MSVC] Fix MSVC warnings (#6450)

* [WINDOWS][MSVC] Fix MSVC warnings

This PR fixes various warnings bought by MSVC.

TODO: deprecate `__tvm_main__` symbol and update
testcase so windows works as normal.

* Fix unicode problem in data_layout

[topi, x86] for 1d loop, make outer loop parallel after split (#6455)

Co-authored-by: masa <masa@pop-os.localdomain>

[TEST] Fix Some Failed Test Cases and Tutorials of The Issue #6453 (#6454)

[runtime] fix: BooleanToTranspose function definition conflict (#6452)

Add black to lint docker image (#6451)

[Format] Convert all Python code w/o CI (#6448)

* Add black setup

* Tweak pyproject.toml

* Fix syntax issues

* Fix

* Tweak

* Black all Python code

ROCm: use GcnArch for mcpu and ApiVersion to select code object version (#6447)

[Relay][Topi][Op]Advanced indexing (#6388)

* Add Relay adv_index op

* Support single index tensor dynamic shape

* Support more dynamic index

* Fix lint

* Minor fix for comment

* Fix lint

* Fix lint

* Fix test

* Fix

CUDA: broaden path detection (#6444)

Debian/Ubuntu repackaged CUDA has slightly different paths
Also, add CUDA versions 10.1, 10.2.

[Relay][Op] Fix Reshape Compute (#6396)

* Fix Reshape Compute

* Fix test

* Fix lint

* Fix lint

* Fix

* Fix lint

* Fix test

* Rebase test

[QNN][Relay] Fixed bug in quantized conv2d. (#6420)

* Fixed bug in quantized conv2d where when kernel size = (1,1)
  and strides != (1,1) it would raise size mismatch error.
* Added test to check qnn.conv2d with kernel size = (1,1) and
  strides != (1,1).

[Relay] Add Defunctionalization Pass  (#6400)

* type args not automatically inferred...

* working on type arg infer

* fix type arg infer

* WIP

* wip

* wip

* revert type_infer

* working

* fix up test

* fix

* remove DeGlobal

* lint

* fix std move

* comments

* fix comments

* review

* style

Fix broadcast shape (#6422)

* Fix broadcast shape

* Fix test

* Minor fix

[Target] Tags, Composite Target, Unified Interface (#6369)

* Add `set_attr_preprocessor` to TargetKind registry, which is used to pre-process attribute maps.
* Use `set_attr_preprocessor` for NVPTX and ROCm backend to check and add mcpu and mtriple.
* Add TargetTag registration and retrieval on C++ side and python side. Allow creation of Target using the tag name.
* Unify target creation on C++ side, replace Target::Create and Target::FromConfig with the constructor.
* Unify target creation on python side, deprecate tvm.target.create and encourage direct use of the constructor of tvm.target.Target instead.
* Add initial support for composite target.

[Rust] Improve the error reporting in build.rs files by using anyhow. (#6401)

* Improve build.rs error handling.

Instead of just unwrapping use Result on main function, and use anyhow to add error context.

* Remove NDArray and Python changes

* Format

* Fix build.rs

* Apply suggestions from code review

Co-authored-by: Greg Hale <ImAlsoGreg@gmail.com>
* Format

* Fix build.rs

Co-authored-by: Greg Hale <ImAlsoGreg@gmail.com>

[METAL] set MTLBuffer purgeable state (#6376) (#6438)

* [METAL] set MTLBuffer purgeable state (#6376)

When using manual reference counting, MTLBuffer
purgeable state should be set before releasing.

* Fix lint error from tvm-ci

[Relay, Torch] Fix stack op axis check, support torch::stack conversion for a static list  (#6433)

* fix torch::stack conversion, add dynamic stack test

* add test to relay stack

* add comment

* add more comment

* uncomment relay op tests

* check for List ADT properly

* improve assertion

Co-authored-by: masa <masa@pop-os.localdomain>

hot fix (#6434)

Address issue #6415 using compiler-rt half-float function. (#6431)

[RELAY] Allow StructuralEqual/Hash via Var.vid (#6424)

* [RELAY] Allow StructuralEqual/Hash via Var.vid

* Reduce MSVC warning

* Fix the data

* Add atol of resize3d

Switch Windows CI to build Release instead of Debug (#6427)

[RELAY][REFACTOR] Mix mode context analysis (#6403)

* mix mode context analysis

* add uses_gpu decorator for more tests

* revert visit counter

* relax visit limit

* lint

* bump visit limit to 19

* typo

[Ansor][AutoTVM v2.0] Phase 2: Layout Rewrite in AutoScheduler (#6297)

* enable layout rewrite for auto scheduler

* refine

* update

* fix CI

* fix CI

* fix CI

* resolve review comments

* add ut

* resolve comments

* resolve comments

* fix coding style

[PASS][ConvertLayout] Fixes AttributeError during ConvertLayout to NHWC (#6419)

Fixes an issue described in #6410. In order to retrieve the shape a tensor `checked_type` should be used.

Change-Id: I991d194d9cc15ee20464ff2e239fd05c035000c8

[AutoTVM][Ansor] Enable random fill and CPU cache flush for AutoTVM and Ansor (#6391)

* [AutoTVM][Ansor] Enable random fill and CPU cache flush for AutoTVM and Ansor

* Trigger CI

* add assert check of random fill function

* remove duplicate tvm.get_global_func

* Add check random_fill exists on remote devices

* solve pylint

Dynamic Strided Slice (#6316)

* Dynamic Strided Slice

* fix clang-format lint

* remove debug print

* respond to review comments

* respond to yongwww's comments

* fix bad rebase

* revert hybrid-script assert

* reformat mxnet change

* use new testing api

* while getting test to work with the new testing API, refactor all of the tests iin the dyn directory

Remove comparison of unsigned expression < 0 warning (#6319)

* fix: remove warning for if (unsigned < 0...)

* change used types related to dlpack ndim to int32_t

[TFLite] Implemented MATRIX_DIAG Operator for TFLite. (#6397)

* Added implementation for MATRIX_DIAG Operator.
* Added tests for MATRIX_DIAG Operator.

[Torch] Miscellaneous fix, enable some VM GPU tests (#6418)

* fix strides conversion

* enable gpu target for some vm tests

* fix pooling stride None case

Co-authored-by: masa <masa@pop-os.localdomain>

bugfix: "verify" call parameter name changed (#6382)

[TESTING] Fix the error when running tests with default targets (#6394)

[ONNX] Add Clip importer to handle when min/max are provided as inputs. (#6251)

* [ONNX] Add Clip importer to handle when min/max are
provided as inputs.

* Use relay.op.minimum/maximum to handle dynamic bounds for Clip.

* Update test to new testing standard

reshape with non constant shape argument (#6411)

iadd conv2d_transpose alter layout (#6358)

Co-authored-by: honghua.cao <honghua.cao@streamcomputing.com>

[Fix] fix compilation error when setting USE_RELAY_DEBUG (#6380)

* fix compilation error when setting USE_RELAY_DEBUG

* awake github ci-test

* remove unnecessary debug log

[TARGET] Add layout_transform, clip and expand_dims in onnx converter (#6366)

* Add layout_transform, clip and expand_dims in onnx converter

* remove _add_input and address comments

* address comments

[VTA][Xilinx] Update to Vivado 2020.1 and Pynq 2.5 (#6402)

* vivado version update

* update docs

Add safe up/downcasting to the Rust object system (#6384)

* Revamp the rust object system with safe subtyping

* Small nits

Remove unintentional pytest dependency. Fix #6398 (#6399)

[Relay/topi] Support scalar inputs in where op (#6383)

* support where with scalars

* add test for where with scalar

* add comment

[RELAY][DYN] Dynamic UpSampling3D Op (#6353)

* frontend and start of cpp impl

* upsampling3d typerel and makefunc

* impl upsampling3d dynamic to static pass

* passes test_dyn_upsampling3d_infer_type_const

* fix bugs and improve doc for resize and upsampling

* code cleanup

* make tests more complex

* code cleanup, fix test_dyn_upsampling3d_run

* fix typo

* ci not working

[METAL] Use CFBridgeRetain for retaining the allocated resource (#6393)

[CI][Contrib] Add Vitis-AI docker installation (#6342)

* [CI][Contrib] Add Vitis-AI docker installation

* rename ubuntu_install_vai_packages.sh to ubuntu_install_vitis_ai_packages_ci.sh

* Add Dockerfile.demo_vitis_ai and environment scripts

* Add comment to docker/bash describing Xilinx Vitis-AI specific setup

Co-authored-by: anilm (generated by with_the_same_user script) <anilm@xhdabidk40.xilinx.com>
Co-authored-by: Anil Martha <anil.martha@xilinx.com>
Co-authored-by: Jorn Tuyls <jornt@xilinx.com>

[Relay] Fix Type Arguments not Attached (#6385)

[Bugfix][Printer] Avoid adding annotation twice for ConstantNode (#6364)

* [Relay] Add user-defined constant node printer

* fix constant node printer, which appends annotator twice when meta=true

* fix lint

[RELAY][VM] Enable heterogeneous execution for Relay VM (#6337)

* vm heterogeneous execution

* context analysis on module

* fix profiler

* fix memory plan

* add more unification

* add serialization

* add gpu tests for test_adt

* cache visited functions

* path compression

* C++ context analysis

* remove python context analysis

* add tests

* clean

* lint

* fix

* enable gpu test for dynamic namespace

* remove GetParamsContext

* fix comments and add doc for context analysis

* cache context

* cache allocator

* rebase and fix comments

[DOCS] Fix the docker binary cache location (#6390)

[TFLite] Support for 'SAME' Padding option for TRANSPOSE_CONV operator of TFLite. (#6381)

* [TFLite] Support for 'SAME' Padding option for TRANSPOSE_CONV operator of TFLite.

* Added support for 'SAME' Padding option for TRANSPOSE_CONV operator for all
  valid kernel sizes.
* Added tests for 'SAME' Padding option for TRANSPOSE_CONV operator.

* Minor Changes.

[Frontend][TensorFlow] Improve TensorFlow control flow nodes ordering (#6387)

* Improve TensorFlow control flow nodes ordering

* Fix Lint

Make docs build again when not everything is enabled (#6386)

[TESTS] Refactor tests to run on either the GPU or CPU. (#6331)

Much of the time spent in testing is duplicated work between CPU and GPU
test nodes. The main reason is that there is no way to control which
TVM devices are enabled at runtime, so tests that use LLVM will run on
both GPU and CPU nodes.

This patch adds an environment variable, TVM_TEST_DEVICES, which
controls which TVM devices should be used by tests. Devices not in
TVM_TEST_DEVICES can still be used, so tests must be careful to check
that the desired device is enabled with `tvm.testing.device_enabled` or
by enumerating all devices with `tvm.testing.enabled_devices`. All
tests have been retrofitted with these checks.

This patch also provides the decorator `@tvm.testing.gpu` to mark a test
as possibly using the gpu. Tests that require the gpu can use
`@tvm.testing.requires_gpu`. Tests without these flags will not be run
on GPU nodes.