[Ansor][AutoTVM v2.0] Phase 1: feature extraction for cost models (#6190)

* [AutoScheduler] add feature extraction

* fix lint

* fix gpu test

* address comments

* improve flop estimation

* rebase

* refactor with group

* fix

* Apply suggestions from code review

Support mxnet _contrib_SyncBatchNorm (#6245)

[COREML]Reduceops support added to frontend (#6252)

Fix newer GCC compiler warnings. (#6257)

[TOPI] Fix reduction (#6250)

Revert "fix cuda half math function is undefined: hpow, htanh (#6225)" (#6249)

This reverts commit ed04cdd35f1990959ec788be0131b1388fd11d31.

[Parser] Parser 2.0 part 2  (#6162)

* Add code from livestream with JK

* Fix errors parsing ResNet

* Parse metadata section efficiently and do most of plumbing to resolve metadata section references.

* WIP

* Change meta reference to an operator

* Meta references now work

* MetaReference expansion now works

* Start working on source map and move diagnostic context

* Convert tokenizer and parser to use new machinery

* Kill to_json

* Fix comment in type_infer.cc

* Remove old parser

* Rename parser tests and remove old ones

* Record span end information

* Convert to using spans everywhere

* Add span fields back to all Relay constructors

* Start passing spans

* Pass spans around visitors

* Format

* Fix

* Fix

* disable reference lint from string helpers

* Fix tokenizer

* Fix issue with empty metadata section

* Document new span fields and small tweaks

* Formatting

* Add span doc fields

* Add format tweak

* Improve errors and fix the semantic version tags in Prelude

* Update gradient.rly

* Clean up broken spans

* Clean up parser tests and turn on previously skipped tests

* Update errors to handle skipped cases

* Tweak

* Tweak

* Format

* Fix some minor issues with ADT tests

* Format

* Fix path

* WIP

* WIP

* Fix ir_text_printer

* format

* Formatted

* More formatting

* Repair test cases

* Fix CI

* Retrigger CI

[Ansor][AutoTVM v2.0] Phase 2: Basic CPU Sketch Search Policy (#6184)

* Init commit to pass the compile

* First commit to pass the test

* Update

* Add UTs for sketch generation

* Update

* Add ASF to new UT file.

* Update rule for winograd

* Update

* File renamed

* Lint fix

[JVM] Support overriding RPCWatchdog termination behavior on Android and other platforms (#6216)

* Instead of performing a system exit and leaving unhandled items on
the activity stack, finish the RPCActivity and return cleanly to the
MainActivity where the RPCActivity can be restarted automatically.

* Update doc. string for checkstyle.

Fix division range estimation error in simplifier (#6244)

Division a/b assumes maximum values when b is close to 0. Account
for that when estimating the range for a/b when 0 belongs to the
estimated range for b.

Assume that a division by zero cannot happen in a valid program,
so in such cases treat the range for b as a union
  [b.min_value, -1] u [1, b.max_value]

[TFLite] Implemented EXPAND_DIMS Operator for TFLite. (#6243)

[RPC] Update build support for cross compiling apps/cpp_rpc with OpenCL (#6229)

* Standardize support for building and cross compiling apps/cpp_rpc.
* Add cmake coverage for building the C++ RPC server binary
  and update documentation.
* Add support for linking against custom OpenCL SDK employing
  a custom find_opencl macro. This can be useful when cross
  compiling with a custom OpenCL device driver.

* Update OpenCL related documentation.

* Add embedded linux build instructions to apps/cpp_rpc/README.md and
ensure pthread is linked against when OS=Linux is defined. Remove
outdated apps/cpp_rpc/Makefile.

[Topi,x86] Split MKL from BLAS. (#6182)

Make cblas and mkl seperate entities in cmake and topi, allowing users
to use both a BLAS library and MKL. In the future, MKL specific
functions can be added easily. MKLDNN is also split off from MKL and
BLAS for the same reasons.

Other improvements:
  - cblas and mkl strategies are now only applied when they are viable.
  - compile_engine will log which implementation it has chosen and why.

fix cuda half math function is undefined: hpow, htanh (#6225)

[Relay]Refine tensorflow frontend 1.x & 2.x compatibility (#6240)

* [Relay]Refine tensorflow frontend 1.x & 2.x compatibility

* fix lint error

* revert gpu related changes

[BYOC][ACL] Improve installation tutorial (#6170)

* [BYOC][ACL] Improve installation tutorial

Improves installation script so that ACL can be built natively and improves tutorial to give clearer information on how ACL can be installed using two different methods.

Change-Id: I6cec98b4b0a7dc2b151b36583d3d28f2b85f8702

* Address comments

Change-Id: I88db6d9d539a8f06e2dfe1b9a0a3ac7a4b46cece

[TOPI, Cuda] Fix conv2d_transpose output padding (#6236)

[TIR][Hybrid] Hybrid Script Support for TIR (#6227)

[TFLite] Implemented ONE_HOT Operator for TFLite (#6223)

[COMMUNITY] jcf94 -> Reviewer (#6241)

[Relay][Op] Add unbiased variance op and corresponding support in pytorch frontend (#6232)

[uTVM] fix crt building and running error (#6231)

Signed-off-by: windclarion <windclarion@gmail.com>

[BYOC][JSON] json_node.h should include data_type.h (#6224)

Fixes compilation issue after #6214.

Change-Id: I07e25356bbfe4a7bd0950f2672441ce1c338dc3f

[FIX] Verify that tensor reshape is valid. (#6215)

[Relay][Dynamic] Add Dynamic Resize Op (#6198)

* WIP

* optionally remove output shape inference from topi

* fix resize

* add resize to dynamic_to_static pass

add resize to dynamic_to_static pass

* fix clang-format

* fix bad rebase

* add argument to dynamic resize doc string

* fix i386 test

* fix lint

[runtime][cublas] fix typo (#6230)

[Relay][Pass] Support combine multiple dense op just into dense (#6062)

* feat: Support combine multiple matmuls to flat matmul

* fix: Change to_batch -> to_batch_matmul and enrich docstring

* feat: Add wrapped batching ops pass for python

[C++ RPC] fix typo to keep same with source code (#6220)

Signed-off-by: windclarion <windclarion@gmail.com>

Reshape with dynamic shape arg (#6208)

Reshape operation updated to take shape from second operand.
In case if shape is provided using second operand it
can be a tensor now.

[ONNX]Mod operator, bug fix (#6160)

* Onnx mod, bug fix

* Added comment for the mod/floor_mod behaviour difference between numpy & relay

[PYTORCH]Std op without specified dimensions support (#6226)

[µTVM] Add --runtime=c, remove micro_dev target, enable LLVM backend (#6145)

* need to fill address of globals in tvmfuncregistry

* llvm func registry generator works!

* lint fixes

* rm hexdump include

* bring bundle_deploy back to life and add to CI

* revert gcda additions

* git-clang-format

* fix check for --system-lib and test_runtime_micro target

* fixup compile flags for bundle_deploy CRT and improve robustness

* git-clang-format

* add debugging info

* git-clang-format

* initialize ret_values in PackedFunc_Call.

* retrigger CI

* fix log messages

* git-clang-format

* remove default for --runtime target opt

* put backtrace behind a flag and enable it

* simpify ReadString(), fixing bad instruction exception on os x.

* git-clang-format

* uncomment tests

* reorder backtrace ldflags for linux gcc

[Relay][Dynamic] OneHot operation (#6209)

* Dynamic OneHot Op

* refactor dynamic_to_static

* add onehot to dynamic_to_static pass

[Ansor][AutoTVM v2.0] Phase 1: The base class for cost models (#6187)

* add the base class for cost models

* address comments

* Update tests/python/unittest/test_auto_scheduler_cost_model.py

Disable test if user doesn't have llvm

Co-authored-by: Zhao Wu <zhaowu@apache.org>

[DOCS] Update pass infra tutorial (#6193)

* [DOCS] Update pass infra tutorial

* update tutorial

[RUNTIME] Enable auto conversion String->DLDataType (#6214)

match pytorch 1.6 googlenet pretrained model (#6201) (#6212)

[Relay] pytorch frontend support conv1d (#6203)

* [Relay] pytorch frontend support conv1d

* add tests for conv1d

Co-authored-by: xutianming.xtm <xutianming.xtm@bytedance.com>

fix compilation error with cuda 11 (#6213)

Pass mfloat-abi to LLVMModule::Init (#6150)

Fix lint

[Target] 64-bit RPi4b target (#6211)

Fix compile warnings. (#6204)

Change the meaning of conv3d_transpose output_padding to match conv{1,2}d_transpose (#6065)

* Change the meaning of output_padding to correspond to conv{1,2}d_transpose

* Fix long lines

* Fix the relay test

* Add missing doc.

* fix size ordering problem

 [Rust] fix #6205 (#6207)

[COREML]Unary ops support added in frontend (#6196)

* [COREML]Unary ops support added in frontend

* Used coreml enums

[RELAY] Basic block normal form (#6152)

* initial commit

* refactor utils

* add util

* revert anf test

* update test

* fix logging

* fix scope bug

* complete tests

* remove logging

* revert refactoring

* add one more test case

* fix missing var binding

* fix test

* fix lint

* fix lint

* fix clang-format

* fix lint

* fix lint

* commit missing code

* add analysis api

* fix lint

* fix lint

* lint

* add test for func

* address CR

* fix typo

* fix return type

* fix lint

* refactor classes

* fix lint

* remove prints

* address comments

Co-authored-by: Ubuntu <ubuntu@ip-172-31-42-138.ec2.internal>

[TFLite] Implemented PADV2 Operator for TFLite and added support for constant values in PAD. (#6167)

[CI][ETHOSN] Enable CI for Ethos-N (#6171)

This introduces the necessary changes to docker to
support building the Ethos-N driver stack. This is
required for subsequent patches which introduce
the Ethos-N integration into TVM.

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Leandro Nunes <leandro.nunes@arm.com>
# Please enter the commit message for your changes. Lines starting
# with '#' will be kept; you may remove them yourself if you want to.
# An empty message aborts the commit.
#
# Date:      Mon Jul 27 15:43:41 2020 +0100
#
# On branch ethosn-ci
# Changes to be committed:
# modified:   docker/Dockerfile.ci_cpu
# new file:   docker/install/ubuntu_install_ethosn_driver_stack.sh
#
# Untracked files:
# CombinedMemoryMap.hex
# OutputModel.hex
# config.txt
# docker/install/ethosn_cap/
# docker/install/ethosn_driver_dev-20.05-dbg-20200612-141030.tar.gz
# ssd.npy
# tests/python/integration/test_tir_gemm.py
# tests/python/relay/test_pattern_annotate.py
# tests/python/unittest/failure.py
#

[DOCS] Added casting to hybrid script doc and fixed pass infra doc (#6174)

* updated hybridscript docs and pass infra docs

* forgot uint16

[AutoScheduler] Fix alignment of note (#6181)

* Fix alignment of note

* trigger CI

Co-authored-by: Lianmin Zheng <lianminzheng@gmail.com>

[Target] Rename target_id => target_kind (#6199)

[TIR][Transform] HoistIfThenElse added (#6066)

* [TIR][Transform] HoistIfThenElse added

* lint error resolved

* Pass position changed

* pylint error resolved

* CI issues resolved

* Frontend tflite test case failure resolved

* [1] Review comment handled

* [2] Review comment handled

* [3] Review comment handled

* Lint error resolved

[TIR] Enhance VerifyGPUCode (#6194)

[Fix] avoid unexpected throw in AttrInitEntry (#6128)

[FoldConstant] Create Interpreter for each constant subgraph (#6195)

[BUILD] Remove libtopi from the build (#6189)

[CI] Remove topi from the CI cache (#6188)

[REFACTOR] topi -> tvm/topi (#6186)

This PR migrates the topi library as a sub namespace of tvm.

[TEST] Temporary disable conv2d grad strided flaky test (#6183)

[FIX] Fixes #6096 (#6131)

Clear the compile cache between module builds so that schedule changes
will have an effect. Also, clear the warning cache so that schedule
changes properly list untuned ops.

[DOCS] Improve the docs build instructions (#6173)

[Relay] Fix bug in transpose_shape_func (#6180)

Fix incorrect function signature in header (#6172)

[BYOC] Retire the example json runtime (#6177)

Buffer logger assert removed (#6147)

[AutoScheduler] Improve doc string (#6176)

[TF] Fix some shape mismatches between TF and Relay (#6166)

Make ndarray_size output scalar
  Make gather_nd output scalar if needed

fix bug when converting constant nodes with types of int64 or float64 (#6159)

Co-authored-by: yuweilong <yuweilong03@meituan.com>

[BYOC][ACL] Support asymmetric per-layer quantized operators (#6109)

* [BYOC][ACL] Support asymmetric per-layer quantization

Adds support for asymmetric per-layer quantization in the ACL runtime. This includes support for qnn.conv2d, nn.maxpool2d and reshape. Reflected these changes in codegen and runtime tests.

Change-Id: I8f610bd37af1e3740fd48c2d502bcc4727d9d712

* Address comments

Change-Id: I4f9e3e7dbf6053066927cf07c4c19ecc88572e9d

* Fix tutorial

Change-Id: I4371e9d97a120fb7776db40ffcde60f46927af4d

* Improve test infrastructure

* Doc-string for generate trials
* Output params on error

Change-Id: Ib2e2b1fcdf05cdc77f7f4fb4b46395f28c129957

[Parser] Typo in mod creation (#6165)

[CI] Update ci-cpu to the latest (#6164)

[Ansor][AutoTVM v2.0] Phase 1: Add pragma/storage_align/rfactor steps (#6141)

* Add pragma/storage_align/rfactor step

* Update

* Update

* Update UT

* Update

Improve error messages in graph tuner, graph runtime, and module loader. (#6148)

* Raise error if no operators are found in GraphTuner

* Raise error if key cannot be found in graph runtime inputs

* Detailed error message when module loader is not found

[Relay] Handle ndarray_size in FoldConstant (#6156)

* [Relay] Handle ndarray_size in FoldConstant

* Use Optional

[Topi, x86] Using MKL blas for quantized dense (#6115)

* [Topi, x86] Using MKL blas for quantized dense

* Typo

* CBLAS_OFFSET only available for MKL

* Skipping tests as GPU CI uses Openblas

* Retrigger

Co-authored-by: Ubuntu <ubuntu@ip-172-31-0-202.us-west-2.compute.internal>

Correct runtime.load_module (#6161)

[TIR][Bugfix] Improved massive build times caused by tir.floormod and tir.floordiv. Fixed Topi testcase. (#5666)

* Improved uncommon case of floormod and floordiv. Removed dependence on np floor_div and fmod.

* Fixed clang-format complaints

* Streamlined floormod and floordiv lowering logic

* Improved build times by expressing int64 case of tir FloorMod and FloorDiv using let nodes

* Updated use-def analysis and llvm codegen to support duplicated letnodes.

* Corrected misuse of var_map_ in llvm codegen

* Updated backends that support LetNode

* Changed floormod and div lowering logic to avoid using FP on systems that don't support it.

* Fixed formatting

Co-authored-by: pankratz <pankratz@ualberta.ca>

[CI][Caffe Frontend] add caffe environment (#6023)

* [CI][Caffe Frontend] add caffe environment

* [CI][Caffe Frontend] change the caffe deps into BVLC distribution.

* [CI][Caffe Fronted] simplify configuration while installing tzdata for precompiled caffe.

* [CI][Caffe Frontend] add more information about tzdata.

* [CI][CaffeFrontend]remove the ci for gpu env and change to pip3 env

Co-authored-by: fernchen <zifeng.cf@alibaba-inc.com>

[Ansor][AutoTVM v2.0] Phase 1: Add follow_split and follow_fused_split steps (#6142)

* Add cache_read/cache_write step

* Update

* Add follow split and follow fused split

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
Conflicts:
src/auto_scheduler/compute_dag.cc
src/auto_scheduler/transform_step.cc
src/auto_scheduler/transform_step.h
tests/python/unittest/test_auto_scheduler_loop_state.py

* add loop_state.py

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

* Update

* Update state->current_compute_dag to Optional

* Add some doc strings for Follow_Split and Follow_fused_split

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Check code using c-lint

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add more doc strings and change the order for follow split.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add record test for follow_split and follow_fused_split

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add record test for follow_split

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add record test for follow_fused_split.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add test record for follow_fused_split
1. delete a comment
2. add "fuse" between follow_split and follow_fused_split

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add doc strings for some functions and variables

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Fix the code format in src/auto_scheduler/transform_step.h

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

* Update doc

* Update

* Update

* Fix follow_split and follow_fused_split record test.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Doc update

* Update some doc strings

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Fix code style and some function definitions.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add comments on parameters.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Add more doc strings and fix some.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
* Update.

Signed-off-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>
Co-authored-by: chengfan.jcf <chengfan.jcf@alibaba-inc.com>
Co-authored-by: jingbang.yjb <jingbang.yjb@alibaba-inc.com>

Adding t-vi as a reviewer (#6149)

[DOCS][REFACTOR] Clarify Docs Categorization (#6155)

This PR categorizes the docs into a few categories:
- How To
- Tutorials
- References
- Deep Dive
- MISC

Co-authored-by: Chris Hoge <chris@hogepodge.com>
Co-authored-by: Chris Hoge <chris@hogepodge.com>

[Android][RPC] Add missing RPC sources after refactor  (#6113)

Add TVM application extension with WASM runtime (#5892)

* Refactor wasm runtime module and resovle conflict errors

Signed-off-by: leonwanghui <wanghui71leon@gmail.com>
* Fix some cargo clippy warnings

Signed-off-by: leonwanghui <wanghui71leon@gmail.com>

[CI][TEST] Temporary disable nmsv4 test (#6151)

[DOCS][REFACTOR] Reorganize the docs. (#6146)

- Move most toctree to `:hiden:` so there can be top-level categorizations in the navigation bar.
- Move frontend guide into design and developer guides
- Move get started tutorials into its separate folder.

Co-authored-by: Chris Hoge <chris@hogepodge.com>
Co-authored-by: Chris Hoge <chris@hogepodge.com>

[Relay][OP] Support NMSv4 ingestion from TF. (#6085)

[Ansor][AutoTVM v2.0] Phase 1: Add cache_read/cache_write steps (#6107)

* Add cache_read/cache_write step

* Update

* Update

* Update

* Update state->current_compute_dag to Optional

* Update

* Update doc

* Update

* Update

* Doc update

* Update

[Relay] Fix interpreter for dyanmic shape input of ndarray_size (#6086)

[Fix] Remove the tvm web from version update (#6122)

add attr option mfloat-abi for arm32 (#6123)

* add attr option mfloat-abi for arm32

* retrigger

[Ansor][AutoTVM v2.0] Phase 1: Access Analyzer (#6103)

* add access analyzer

* add test cases

* move header files and polish comments

* fix lint

* update

* fix lint

* address comments

* fix lint

\b[TOPI] Fix CUDA Library Tuning (#6132)

[AutoTVM][BugFix] Fix autotvm on the conv2d_nchw_winograd.mali operator (#6130)

* [AutoTVM] Fix conv2d_nchw_winograd.mali

* Fix pylint error

Co-authored-by: Yanming Wang <yanmwang@amazon.com>

[Relay][VM] Allow to config allocator type and refactor vm code structure (#6105)

* [Relay][VM] Allow to config allocator type and refactor vm code structure

* fix doc

* fix

* update

* trigger ci

* trigger ci

* trigger ci

* trigger ci

* fix doc warning

[Flaky] TFLite quantized conv test (#6084)

[Relay]Port eliminate_common_subexpr to non-recursive form (#6134)

Co-authored-by: Zheng Jiang <zhejiang@amazon.com>

[Relay] Keep fixed dim when unifying dynamic shape (#5795)

Add 'get_num_inputs' to GraphRuntime (#6118)

[Rust] Some rust cleanups (#6116)

* Some rust cleanups

* Turn off default features for bindgen
* Upgrade some deps for smaller total dep tree
* Switch (/complete switch) to thiserror
* Remove unnecessary transmutes

* Fix null pointer assert

* Update wasm32 test

[RELAY][Fix] i64 indices (#5235)

* fix

* resolve comments