black format master (#6494)

bumping vta version (#6495)

Fix missing import in bifrost schedule (#6479)

[PY] GraphRuntime: Update the tutorials to the module-based interface (#6482)

* [PY] GraphRuntime: Update the tutorials to the module-based interface.

Also added document about the encouraged usage.
In particular, we encourage the following usage.

lib = relay.build(...)
gmod = graph_runtime.GraphModule(lib["default"](ctx))

I have changed most of the tutorials and apps.
Some follow up PRs are needed to update some of the tests code.

* Fix VTA tutorials

[Formatting] Fix python formatting issue (#6491)

After #6442 was merged, black started complaining about formatting of test_pass_convert_op_layout.py. Format here.

Change-Id: I04346fa06e22b722b619488b895b47c6943e3fd9

[BUG][ConvertLayout] Fix qnn.conv2d layout conversion too many values to unpack (#6442)

This patch follows a previous bugfix in #6419. I made a very simple oversight for qnn.conv2d in that tinfos also contains qnn parameters. Therefore, we need to extract data_info and weight_info differently.

Change-Id: Ib0ad01f427543371380d0bb604a77b5e0ec1103d

[FIX] Save tensor size with alignment (#6487)

[Minor] Fix typos in Ansor (#6425)

[BYOC][ETHOSN] Introduce further operator support (#6355)

* [BYOC][ETHOSN] Introduce further operator support

This PR introduces support for the following operators:
 - Quantized Fully Connected
 - Quantized Addition
 - Depth-to-space
 - Max/Avg Pool 2D
 - Quantized Relu (Clip)
 - Reshape
 - Quantized Sigmoid

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
* Skip tf imports if not available

Change-Id: I11bcf4a78014fa63e7b8e3b0cb00eecfd6cb7760

* ethos -> ethosn

Change-Id: I1fb1a11d0765f6d69f04c24b9c24e08665b8af6a

* Reduce random testing in test_addition

Change-Id: Id06063a0a0cf5f01356df23dc5d4bbbcb47cfa99

* Reduce random testing in test fullyconnected

Change-Id: I330408dfabc4bd804373f100581ce909ff724052

* Fix dumb mistake with rename

Change-Id: I2c5007be485b323116a0e8bab0f9106ea5ec834b

* Added comments to update the hashes in network tests when necessary

Change-Id: I13828c918c959daa492b9ed942a882c86d6690d1

* Fix github name

Change-Id: Idaa70ab9c2ec8db2828d51d15e7c23f28670ec82

* Use black formatting

Change-Id: I538171bd547a16395bef155a1dad28e8b3e347f2

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>

add git diff filter (#6484)

µTVM RPC server and Part 1 of AutoTVM compilation infrastructure (#6334)

[DOC] Fix Some Broken Web Links (#6475)

[Relay]Some backend improvements for PT OD models (#6464)

* Some backend improve for PT od models

* Fix clang

* Fix pylint

* Enable gpu tests

* Minor fix

[Formatting] Fix black script for Python formatting (#6469)

add aten::pixel_shuffle implementation (#6328) (#6468)

[RFC][Formatting] Add scripts for applying Black to the Python code. (#6437)

[ONNX] Update Slice op conversion to take strides into account, clean up tests (#6467)

Co-authored-by: masa <masa@pop-os.localdomain>

[CMAKE] Improve FindLLVM to handle llvm-prefix with space. (#6466)

* [CMAKE] Improve FindLLVM to handle llvm-prefix with space.

Useful for windows settings where llvm can sits in Program Files.
Also updated the windows compiler to use clang.

* Additional updates

[runtime] fix: remove anoymous namespace and rename BooleanToTranspose (#6465)

[RPC] Update RPC module to enable remote linking. (#6462)

Remote linking is useful when the linker is not available
on the host environment.

[COMMUNITY] lhutton1 -> Reviewer (#6461)

[COMMUNITY] comaniac -> Committer (#6463)

[ONNX] Add support for GatherElements conversion (#6446)

* support onnx GatherElements

* remove print

* run black

Co-authored-by: masa <masa@pop-os.localdomain>

[APPS] Add How to deploy graph runtime example under new module factory (#6459)

[FIX,TESTING] Add tvm.testing to the docs (#6458)

upstream (#6436)

[WINDOWS][MSVC] Fix MSVC warnings (#6450)

* [WINDOWS][MSVC] Fix MSVC warnings

This PR fixes various warnings bought by MSVC.

TODO: deprecate `__tvm_main__` symbol and update
testcase so windows works as normal.

* Fix unicode problem in data_layout

[topi, x86] for 1d loop, make outer loop parallel after split (#6455)

Co-authored-by: masa <masa@pop-os.localdomain>

[TEST] Fix Some Failed Test Cases and Tutorials of The Issue #6453 (#6454)

[runtime] fix: BooleanToTranspose function definition conflict (#6452)

Add black to lint docker image (#6451)

[Format] Convert all Python code w/o CI (#6448)

* Add black setup

* Tweak pyproject.toml

* Fix syntax issues

* Fix

* Tweak

* Black all Python code

ROCm: use GcnArch for mcpu and ApiVersion to select code object version (#6447)

[Relay][Topi][Op]Advanced indexing (#6388)

* Add Relay adv_index op

* Support single index tensor dynamic shape

* Support more dynamic index

* Fix lint

* Minor fix for comment

* Fix lint

* Fix lint

* Fix test

* Fix

CUDA: broaden path detection (#6444)

Debian/Ubuntu repackaged CUDA has slightly different paths
Also, add CUDA versions 10.1, 10.2.

[Relay][Op] Fix Reshape Compute (#6396)

* Fix Reshape Compute

* Fix test

* Fix lint

* Fix lint

* Fix

* Fix lint

* Fix test

* Rebase test

[QNN][Relay] Fixed bug in quantized conv2d. (#6420)

* Fixed bug in quantized conv2d where when kernel size = (1,1)
  and strides != (1,1) it would raise size mismatch error.
* Added test to check qnn.conv2d with kernel size = (1,1) and
  strides != (1,1).

[Relay] Add Defunctionalization Pass  (#6400)

* type args not automatically inferred...

* working on type arg infer

* fix type arg infer

* WIP

* wip

* wip

* revert type_infer

* working

* fix up test

* fix

* remove DeGlobal

* lint

* fix std move

* comments

* fix comments

* review

* style

Fix broadcast shape (#6422)

* Fix broadcast shape

* Fix test

* Minor fix

[Target] Tags, Composite Target, Unified Interface (#6369)

* Add `set_attr_preprocessor` to TargetKind registry, which is used to pre-process attribute maps.
* Use `set_attr_preprocessor` for NVPTX and ROCm backend to check and add mcpu and mtriple.
* Add TargetTag registration and retrieval on C++ side and python side. Allow creation of Target using the tag name.
* Unify target creation on C++ side, replace Target::Create and Target::FromConfig with the constructor.
* Unify target creation on python side, deprecate tvm.target.create and encourage direct use of the constructor of tvm.target.Target instead.
* Add initial support for composite target.

[Rust] Improve the error reporting in build.rs files by using anyhow. (#6401)

* Improve build.rs error handling.

Instead of just unwrapping use Result on main function, and use anyhow to add error context.

* Remove NDArray and Python changes

* Format

* Fix build.rs

* Apply suggestions from code review

Co-authored-by: Greg Hale <ImAlsoGreg@gmail.com>
* Format

* Fix build.rs

Co-authored-by: Greg Hale <ImAlsoGreg@gmail.com>

[METAL] set MTLBuffer purgeable state (#6376) (#6438)

* [METAL] set MTLBuffer purgeable state (#6376)

When using manual reference counting, MTLBuffer
purgeable state should be set before releasing.

* Fix lint error from tvm-ci

[Relay, Torch] Fix stack op axis check, support torch::stack conversion for a static list  (#6433)

* fix torch::stack conversion, add dynamic stack test

* add test to relay stack

* add comment

* add more comment

* uncomment relay op tests

* check for List ADT properly

* improve assertion

Co-authored-by: masa <masa@pop-os.localdomain>

hot fix (#6434)

Address issue #6415 using compiler-rt half-float function. (#6431)

[RELAY] Allow StructuralEqual/Hash via Var.vid (#6424)

* [RELAY] Allow StructuralEqual/Hash via Var.vid

* Reduce MSVC warning

* Fix the data

* Add atol of resize3d

Switch Windows CI to build Release instead of Debug (#6427)

[RELAY][REFACTOR] Mix mode context analysis (#6403)

* mix mode context analysis

* add uses_gpu decorator for more tests

* revert visit counter

* relax visit limit

* lint

* bump visit limit to 19

* typo

[Ansor][AutoTVM v2.0] Phase 2: Layout Rewrite in AutoScheduler (#6297)

* enable layout rewrite for auto scheduler

* refine

* update

* fix CI

* fix CI

* fix CI

* resolve review comments

* add ut

* resolve comments

* resolve comments

* fix coding style

[PASS][ConvertLayout] Fixes AttributeError during ConvertLayout to NHWC (#6419)

Fixes an issue described in #6410. In order to retrieve the shape a tensor `checked_type` should be used.

Change-Id: I991d194d9cc15ee20464ff2e239fd05c035000c8

[AutoTVM][Ansor] Enable random fill and CPU cache flush for AutoTVM and Ansor (#6391)

* [AutoTVM][Ansor] Enable random fill and CPU cache flush for AutoTVM and Ansor

* Trigger CI

* add assert check of random fill function

* remove duplicate tvm.get_global_func

* Add check random_fill exists on remote devices

* solve pylint

Dynamic Strided Slice (#6316)

* Dynamic Strided Slice

* fix clang-format lint

* remove debug print

* respond to review comments

* respond to yongwww's comments

* fix bad rebase

* revert hybrid-script assert

* reformat mxnet change

* use new testing api

* while getting test to work with the new testing API, refactor all of the tests iin the dyn directory

Remove comparison of unsigned expression < 0 warning (#6319)

* fix: remove warning for if (unsigned < 0...)

* change used types related to dlpack ndim to int32_t

[TFLite] Implemented MATRIX_DIAG Operator for TFLite. (#6397)

* Added implementation for MATRIX_DIAG Operator.
* Added tests for MATRIX_DIAG Operator.

[Torch] Miscellaneous fix, enable some VM GPU tests (#6418)

* fix strides conversion

* enable gpu target for some vm tests

* fix pooling stride None case

Co-authored-by: masa <masa@pop-os.localdomain>

bugfix: "verify" call parameter name changed (#6382)

[TESTING] Fix the error when running tests with default targets (#6394)

[ONNX] Add Clip importer to handle when min/max are provided as inputs. (#6251)

* [ONNX] Add Clip importer to handle when min/max are
provided as inputs.

* Use relay.op.minimum/maximum to handle dynamic bounds for Clip.

* Update test to new testing standard

reshape with non constant shape argument (#6411)

iadd conv2d_transpose alter layout (#6358)

Co-authored-by: honghua.cao <honghua.cao@streamcomputing.com>

[Fix] fix compilation error when setting USE_RELAY_DEBUG (#6380)

* fix compilation error when setting USE_RELAY_DEBUG

* awake github ci-test

* remove unnecessary debug log

[TARGET] Add layout_transform, clip and expand_dims in onnx converter (#6366)

* Add layout_transform, clip and expand_dims in onnx converter

* remove _add_input and address comments

* address comments

[VTA][Xilinx] Update to Vivado 2020.1 and Pynq 2.5 (#6402)

* vivado version update

* update docs

Add safe up/downcasting to the Rust object system (#6384)

* Revamp the rust object system with safe subtyping

* Small nits

Remove unintentional pytest dependency. Fix #6398 (#6399)

[Relay/topi] Support scalar inputs in where op (#6383)

* support where with scalars

* add test for where with scalar

* add comment

[RELAY][DYN] Dynamic UpSampling3D Op (#6353)

* frontend and start of cpp impl

* upsampling3d typerel and makefunc

* impl upsampling3d dynamic to static pass

* passes test_dyn_upsampling3d_infer_type_const

* fix bugs and improve doc for resize and upsampling

* code cleanup

* make tests more complex

* code cleanup, fix test_dyn_upsampling3d_run

* fix typo

* ci not working

[METAL] Use CFBridgeRetain for retaining the allocated resource (#6393)

[CI][Contrib] Add Vitis-AI docker installation (#6342)

* [CI][Contrib] Add Vitis-AI docker installation

* rename ubuntu_install_vai_packages.sh to ubuntu_install_vitis_ai_packages_ci.sh

* Add Dockerfile.demo_vitis_ai and environment scripts

* Add comment to docker/bash describing Xilinx Vitis-AI specific setup

Co-authored-by: anilm (generated by with_the_same_user script) <anilm@xhdabidk40.xilinx.com>
Co-authored-by: Anil Martha <anil.martha@xilinx.com>
Co-authored-by: Jorn Tuyls <jornt@xilinx.com>

[Relay] Fix Type Arguments not Attached (#6385)

[Bugfix][Printer] Avoid adding annotation twice for ConstantNode (#6364)

* [Relay] Add user-defined constant node printer

* fix constant node printer, which appends annotator twice when meta=true

* fix lint

[RELAY][VM] Enable heterogeneous execution for Relay VM (#6337)

* vm heterogeneous execution

* context analysis on module

* fix profiler

* fix memory plan

* add more unification

* add serialization

* add gpu tests for test_adt

* cache visited functions

* path compression

* C++ context analysis

* remove python context analysis

* add tests

* clean

* lint

* fix

* enable gpu test for dynamic namespace

* remove GetParamsContext

* fix comments and add doc for context analysis

* cache context

* cache allocator

* rebase and fix comments

[DOCS] Fix the docker binary cache location (#6390)

[TFLite] Support for 'SAME' Padding option for TRANSPOSE_CONV operator of TFLite. (#6381)

* [TFLite] Support for 'SAME' Padding option for TRANSPOSE_CONV operator of TFLite.

* Added support for 'SAME' Padding option for TRANSPOSE_CONV operator for all
  valid kernel sizes.
* Added tests for 'SAME' Padding option for TRANSPOSE_CONV operator.

* Minor Changes.

[Frontend][TensorFlow] Improve TensorFlow control flow nodes ordering (#6387)

* Improve TensorFlow control flow nodes ordering

* Fix Lint

Make docs build again when not everything is enabled (#6386)

[TESTS] Refactor tests to run on either the GPU or CPU. (#6331)

Much of the time spent in testing is duplicated work between CPU and GPU
test nodes. The main reason is that there is no way to control which
TVM devices are enabled at runtime, so tests that use LLVM will run on
both GPU and CPU nodes.

This patch adds an environment variable, TVM_TEST_DEVICES, which
controls which TVM devices should be used by tests. Devices not in
TVM_TEST_DEVICES can still be used, so tests must be careful to check
that the desired device is enabled with `tvm.testing.device_enabled` or
by enumerating all devices with `tvm.testing.enabled_devices`. All
tests have been retrofitted with these checks.

This patch also provides the decorator `@tvm.testing.gpu` to mark a test
as possibly using the gpu. Tests that require the gpu can use
`@tvm.testing.requires_gpu`. Tests without these flags will not be run
on GPU nodes.

[RELAY] Fix the FoldConstant Regression for VTA (#6377)

* [RELAY] Fix the FoldConstant Regression for VTA

* [CI] Fix error guard that was missed in VTA.

This PR fixes an error guard during the documentation build step.

- Temporary disables VTA frontend tutorial due to
  the regression of deploy_detection

[RUNTIME][CRT] use macro to replace hardcode number (#6365)

Signed-off-by: windclarion <windclarion@gmail.com>

[Torch] Support logsumexp, clean up unnecessary infer_shape usage (#6374)

* clean up infer_shape usage, add logsumexp op

* add more tests for logsumexp

* remove commented code

acquire gil while finalizing PackedFunc (#6378)

[Relay] Enhance relay.split(), allow splitted dim to be dynamic (#6289)

* [Relay] Enhance relay.split(), allow splitted dim to be dynamic

* Add assert in shape function

* Fix CI

add missing dependency (#6375)

[Relay] support i64 indices (#6143)

[BYOC][JSON] Support input nodes with multiple entries (#6368)

* Support input nodes with multiple data entries

* Rename input_var_idx_ to input_var_eid_

[Torch] Fix aten::max and aten::min conversion (#6372)

* fix aten::max and aten::min conversion

* remove print

[TIR][Transform]Block scope hoisting added (#6238)

* Block scope hoisting added

* lowering flow added with 2 variants

* Fake commit to trigger ci with pass default enabled

* CI Failure resolved

* Optimize for if var list iteration

* More test case added

* Fake commit to disable failed test cases

* Pass default value restored

* [1] Review comment handled

* [2] Review comments handled

[DOCKER] Fix Dockerfile.demo_android (#6361)

* [DOCKER] Fix Dockerfile.demo_android

* fix

[Ansor][AutoTVM v2.0] Phase 2: Update heavy operations with parallel_for (#6348)

* Update auto_scheduler with parallel_for

* Update

* Update

* Update

* Update inferbound

[DOC] Fix mistyped word (#6362)

* Fix the doc mistyped word in `tvm.te.hybrid.build` function

Co-authored-by: gigo <gigo_liao@qbitsemi.com>

[DOCKER] Use clear name that is separate from ASF brand for cache (#6360)

[Torch] Add cast to double, fix flatten conversion (#6357)

* support cast to double and fix flatten conversion

* also support batch flatten, add test

* add flatten test

* clean up

[Target][Codegen] Use target class in all codegens (#6347)

* [Target][Codegen] Make all code generator use Target class instead of target string

* Remove dep to TargetNode::str() in LLVM module

* Allow  for llvm nvptx codegen

* ...

* Address comments from Cody

* Rename UpdateTargetConfig => UpdateTargetConfigKeyValueEntry

[CMAKE] Compatible for ROCm before 3.7 (#6359)

Improve Rust bindings: Map, Array, String, various IR nodes (#6339)

* Fix datatype

* Add initialize macro

* Add some TIR nodes

* Better downcasting

* Improve Array and add Map

* Convert to new string API

* Clean up some warnings

* Add ConstIntBound type

* Run cargo fmt

* Remove debug prints

* Add some more ops

* Fix some string code

Co-authored-by: Jared Roesch <jroesch@octoml.ai>

quanitze operation expanded to take const argument (#6127)

* quanitze operation expanded to take const argument

* amendments

used get_tensor_expr, added _test_forward_quantize_dequantize_const test

Add docker/lint.sh, for running dockerized lint scripts locally (#6333)

* Add -i option to docker/bash.sh

 * Allows scripts to invoke dockerized commands interactively, for
   better Ctrl+C.

* Add docker/lint.sh to run lint step locally in the docker VM.

 * This allows developers to run lint using the official versions of
   the lint tools without needing to lookup the docker image name.
 * Move all lint scripts to tests/lint/
 * Point Makefile to those new scripts.
 * Update apache rat script to filter untracked/gitignore'd files when
   run with `docker/lint.sh`.

* fix bash_source[0]

* explicitly set the author for CI

* try environment variable override

* try config option

* remove =traditional from ignored option to increase git compat

* address comments, fix behavior under git worktrees

* address cppdocs comments

* address lint.sh comments

* address zhi comments, update pull_request rst

typo (#6352)

[Ansor][AutoTVM v2.0] Phase 2: Evolutionary Search (#6310)

* init commit

* Add rest rules

* refactor

* address comments

* improve test

* address comments

[BYOC][ETHOSN] Add support for quantized convolution (#6335)

* [BYOC][ETHOSN] Add support for quantized convolution

This PR adds support for quantized convolution. This
includes mapping it via a composite function and all
the necessary methods to convert from Relay to the
APIs in Support Library.

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
* Fix padding change

Change-Id: I0794b0ac6190478e2d1b858ad0dd90f37fc0207b

* Add docs to Tvm2Npu methods

Change-Id: Iab865619b449a3d0dd6bb0dbdcb198acd529fc4e

* Remove generate tests

Change-Id: I51f90499f7ce82a1ce49f0731d3d50627e1d0225

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>