[TFLITE]TOP_K op parser support (#5051)

* [TFLITE]TOP_K op parser support

* Testcase updated

[Dataflow]: nullptr check (#5176)

[Runtime][MISRA-C][Bundle] Bundle deployment with static linking (#5158)

* test file for static link added

* rename files

* Fixed static linking issue

* cleanup

* changed to dynamic and static demo

* MISRA-C static and dynamic test

* cleanup

* cleanup

* Update README.md

* cleanup headers

* update readme

Create a new parameter --cache-from in tvm/docker/build.sh, so that we can point to an image to be used as cache, from an external (#5173)

script.

 * Adjusts documentation to provide information about new optional
   parameter "--cache-from"
 * Includes --cache-from in the underlying "docker build" command
   triggered by build.sh, when required

[CI] Improve VTA build message and scripts. (#5170)

* [CI] Improve VTA build message and scripts.

* Use absolute path to set the env var

Add support for sharing params of operators in tensorflow frontend (#5042)

[DOCS] Various sphinx related fix. (#5168)

* [DOCS] Various sphinx related fix.

- Use :ref: for reference.
- Use :py:class: to refer to API docs.
- Update installation guide to also refer to the download page.
- Only move html contents in doxygen.

* Address review comments

* Update wording

remove AttrsEqual and AttrsHash related code (#5169)

relay::StructuralHash to tvm::StructuralHash (#5166)

[REFACTOR][IR] alpha_equal to structural_equal (#5161)

[CI] Move build configuration to shell scripts (#5164)

* [BUILD] Fix VTA build in CI

* [CI] Move build configuration to shell scripts

[BUILD] Fix VTA build in CI (#5165)

[VTA][Refactor] Introducing VTA_HW_PATH for easier migration (#5163)

[NODE][IR] Introduce StructuralHash for the Unified IR. (#5160)

* [NODE][IR] Introduce StructuralHash for the Unified IR.

This PR introduces a new way to handle structural hash for the unified IR.

- Each object can now register an optional SEqualHash function, which
  describes how to reduce its structural equality to sequence of hash values.
- Optionally, the object can choose to allow labeling of vars(e.g. function parameters)
  by calling DefHash
- We implemented a non-recursive structural hasher that maintains its own stack
  to traverse te IR.

This PR also improves the hash value property from the previous relay's hash utility.
In particular, the graph node mode hashs a DAG differently from a tree
by attaching an unique occurence index to each graph node.

In all of the test cases so far, structural_hash is consistent with structural_equal.
- if structrual(x, y) then structural_hash(x) == structural_hash(y)
- if structural_hash(x) == structural_hash(y) then highly likely structural_equal(x, y)
  - hash no collison is found in our testcases.

Ideally we should work on automatically generating these functions in the future.

* Fix cases for EnvFunc and Array dims

* fix testcase

* Update src/node/structural_hash.cc

Co-Authored-By: 雾雨魔理沙 <lolisa@marisa.moe>
Co-authored-by: 雾雨魔理沙 <lolisa@marisa.moe>

[NODE][IR] Introduce StructuralEqual Infra for the unified IR. (#5154)

* [NODE][IR] Introduce StructuralEqual Infra for the Unified IR.

This PR introduces a new way to handle structural equality
for both TIR and relay nodes in an extensive way.

- Each object can now register an optional SEqualReduce function, which
  describes how to reduce its structural equality to another instance
  into equality of the children.
- Optionally, the object can choose to allow remapping of vars(e.g. function parameters)
  by calling DefEqual
- We implemented a non-recursive structural equality checker that
  recursively traverses the objects and does the structural equality checking.

This PR also fixes a few potential problems in previous relay's AlphaEqual.

- In particular, the new structural equality relation will be communicative.
- It is can be dangerous to use same_as relation to quickly check equality,
  demonstrated by the following case. (%x, %y) are shared vars between two functions.

- function0: fn (%x, %y) { %x + %y }
- function1: fn (%y, %x) { %x + %y }

The new structural equal is intented to supersede AlphaEqual and AttrsEqual.

Follow-up PRs should be performed to redirect the existing usages, and removes
the corresponding implementation.

* Update the rule to distinguish between graph node and non-graph nodes.

* Refactor the test cases to use structural equal.

* address comments

* Mark more relay::Expr as graph node, fix a testcase issue(was bug that was not caught by previous alpha equal)

* Remove unrelated comment

* Fix file comment

* Address review comment

* Relax condition to fit flaky case

[Relay][Frontend][Pytorch] Fixed ConvTranspose2D parsing (#5157)

* Fixed conv transpose parsing.

* small format change.

* Chage test module names.

* Simplified test syntax.

Adding support for QNN subtract op (#5153)

* Adding support for QNN subtract op

* Fixing typo.

* Fixing typo.

* Fixing lint.

* Addressing review comments.

* Renaming variables as per convention and renamed QnnBinaryOpTypes -> QnnBinaryOpType

* Renaming QnnBinaryOpType to QnnBinaryOpTensorType which now takes the index you want to extract to make the code more readable.

* Fixing lint.

* Moving common code to macro.

* Fixing alignment.

* Fixing typo.

* Fixing lint.

* Renaming method to pass CI.

[TOPI][Tensor Core] Conv2d and Dense ops support on Tensor Core (#5099)

* [TOPI][Tensor Core] Optimization of CNNs on Tensor Core #6004

* update conv2d test

* # pylint: dense_tensorcore.py

* modify

* modify conv2d

* modify the unclear comment,add shape assertion in conv2d compute,combine general gemm intrinsic

* add shape assertion in conv2d compute, combine general gemm intrinsic

Co-authored-by: libaihong <libaihong@inspur.com>
Co-authored-by: libaihong <61525430+libaihong@users.noreply.github.com>

[External Codegen] Fix annotate pass static variable (#5023)

'fannotate' in the annotate_target pass was designated as
static. This meant that if you use the pass to annotate
more than one codegen, its value is not updated when the
target changes resulting in incorrect annotation.

Change-Id: Ib4f3af5cfbef44f29771818219755198ac313a0e

[Relay][MergeComposite] Support TupleGetItem in body of pattern (#5106)

* Support TupleGetItemNode in body of pattern only

* Add bn_relu test case for MergeComposite with TupleGetItem

* formatting

* TupleGetItemNode::make -> TupleGetItem()

[RUNTIME]crt error handling (#5147)

* crt error handling

* Review comments fixed

[Relay][OP] Register topi schedule for Relay fast_exp and fast_tanh (#5131)

* register for fast_exp and fast_tanh

* Add unit test for fast math

* Add unit test for op fast math

* Add unit test for op fast math

* Add unit tests to guard registering topi schedule for Relay fast_exp and fast_tanh

* Fix ident

* Fix the indent

* Add fast_tanh in the test_fastmath of topi tests

[Doc] TVM release process (#5151)

* [Doc] TVM release process

* fix tag

* remove things not apply

[RELAY] Added a AnnotatedRegion utility class (#5030)

* [RELAY] Added an AnnotatedRegionSet utility class

In many of the passes involved in graph partitioning,
we need to extract and manipulate annotated regions.
This class simplifies the extraction of regions from a relay
expression containing region begin and end annotations
as well as providing utility functions to query these
regions and merge them.

Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
Change-Id: Ia912fea0b99f64b6a7197aa6da2347e58f469fbb

* Rename fix

* Update MakeRegions

* Fix __init__

* Indentation

* Code style

* Remove 'Region' from docs

* Overload [] to get region

* Use src/dest for MergeRegions

* Simplify merge

* Tidy const loop vars

[Strategy][ARM CPU] Remove contrib spatial pack schedule of depthwise convolution (#5148)

* [Strategy][ARM CPU] Low the plevel of contrib spatial pack of depthwise convolution

* address comments

Handle empty LLVMModule in GetFunction (#5146)

[Tutorial][Quantization] Fix incorrect name of calibration mode (#5150)

Duplicate likely nodes added when loop axis split unevenly (#5084)

* [TE][Schedule] Duplicate likely nodes removed

* [1] Test case added

* [2] Lint error fixed

* [3] Review comments handled

* [4] Review comments handled

[Torch] Add support for max_pool1d (#5142)

* [Torch] Add support for max_pool1d

* add test

* fix line-too-long

* remove wrapper class

[Torch] Fix conv2d conversion for group conv (group > 1 but != in channels) (#5132)

* Fix conv2d conversion for group conv

* add more comment for clarification

[REFACTOR][TIR] Introduce PrimFuncPass. (#5139)

* [REFACTOR][TIR] Introduce PrimFuncPass.

- Introduce PrimFuncPass
- Convert one pass to the unified Pass API.

* Address comments

* Fix comments

[RUNTIME]fix unused-value warning (#5140)

[CI] Update rust docker (#5141)

[Relay] GradientCell Relay Pass (#5039)

* save

* gradient.rly

* fix

* NOT WORKING: gradient cell pass

* test gradient pass

* fixed basic call ops

* more tests

* fix bug

* transform calls to one ones_like zero zero_like

* maintenance stuff

* fix linting

* linting

* linting

* throw default

* remove unrelated changes

* import gradent.rly in pass

* comment

* linting

* remove changes to test files

* move gradient_cell.cc to transforms

* revert change

* update files with new commits

* type

* wrapper function to main outermost function type

* fix linting

* fix unsigned and signed int comparison

* review

* GetConstructor definition in module and change op comparison

* update node instantiations

* increase code readability

Co-authored-by: Marisa Kirisame <lolisa@marisa.moe>

Change Rust version to stable in Docker (#5138)

Fix for issue #4831. The data_min_idx and data_max_idx were flipped. (#5136)

Existing test cases cover this fix. In addition I have added an assert to make sure that the data_min is always less than equal to data_max.

Add thrust support for nms (#5116)

* add argsort_nms_thrust

* consider valid count in thrust nms sort

* make thrust optional

* typo

* typo

* fix pylint

* address some of the comments

* address more comments

* fix lint

* address more comments

* address more comments

[Refactor] Relay Node::make to constructor (#5128)

* relay Node::make to constructor

* patternwildcard

* Address comments

[DOCS] Minimize necessary doc change (#5129)

[Frontend][TensorFlow]TensorFlow Parser Control Flow Enhancement (#5020)

* Improve TF control flow major logic

* Pass mod into operator convert function

* Fix LoopBound

* Add more control flow tests

* Add two test cases for stridedslice

* Fix docstring

* Fix lint

* Fix import

* Fix test assert

* Minor fix conv3d

* Add more comments

* Fix for dilation2d

* Change newly added atan

* Change newly added unravel

[Bugfix] Fixed bug where shifting by out-of-bounds value results in no compute code being emitted. (#5115)

* Fixed bug where shifting by out-of-bounds RHS values results in LLVM to codegen nothing. Added regression testcase

* Updated testcase to be more precise.

* Fixed testcase

[Relay, Topi, TF Frontend] Isfinite operator (#4981)

* isfinite doc update

* isfinit expr

* isfinit expr

* isfinite schedule reg

* isfinite python binding

* isfinite python binding

* relay register isfinite

* isfinite type relation

* intrin isfinite

* topi isfinite

* testcase topi isfinite

* tf frontend isfinite

* tf frontend isfinite testcase

* test case relay isfinite

* small fixes

* test forward tf isfinite

* test cases injective for cuda

* remove float16 test case

* add support for isinf

* remove unwanted import

* fix conflict

[Relay, Topi] [TF, MXNet] Unravel Index operator (#5082)

* first cut unravel_index

* merge fixes

* change rates to dilations

* unravel_index op relay, topi, mxnet, tf

* doc changes

* small changes

* remove empty unravel and argwhere attrs

* remove empty unravel and argwhere attrs

[DOCS] Cleanup docs before rebuild (#5127)

* [DOCS] Cleanup docs before rebuild

* Ask doxygen to generate svg to minimize the file size

[DOC][TUTORIAL] Fix typo for deploy_model_on_android.py (#5123)

[CodeGen][CUDA] Vectorization for intrinsics (#5101)

- This allows to emit vectorized loads/stores
  for CUDA math intrinsics.

- A few intrinsics should be lowered as CUDAMath not CUDAFastMath ones.

- Fixed the code block identation.

Adjust strategy plevel to achieve expected performance by default (#5118)

[Rust] Fix the existing test cases before refactoring.  (#5122)

* Fix up the final pieces

* Tweak build.rs

Update the tarball deployment. (#5120)

[DOCS] include a tarball of docs, add a security faq (#5119)

* [DOCS] include a tarball of docs during deployment

* [DOCS] Add a short security faq

[KERAS] conv3d frontend operator support (#5080)

* [KERAS]Conv3d support added

* Keras conv3d testcase added

[docs] Update relay docs (#5112)

* Update relay docs

* any -> py:func

* make clean

TVM android camera demo (#5005)

[Relay][TF] Support for Atan/Atan2 in Relay Tensorflow frontend converter. (#5104)

* add Atan/Atan2 op

* fix bug and testing

[TOPI, Relay refactor] Move Dilation2d from nn to image namespace (#5110)

[Relay][BYOCG] Propagate constant to subgraphs (#5094)

* bind constant to subgraphs

* con -> constant

[Fix] Fix CompilerAttrs (#5109)

* fix CompilerAttrs

* retrigger ci

[TOPI][OP] Use Thrust sort for argsort and topk (#5097)

* [TOPI][OP] Use Thrust sort for argsort and topk

The current GPU sort implementation (odd-even transposition sort) is too slow
when the number of elements is large.  This PR introduces Thrust implementation
of sort which is much faster.

Note that this change requires CMake 3.8 or later since we have to use nvcc to
compile a thrust code.

* cmake: make CUDA optional

* allow .cu file to be into the repository

* pylint fix and cleanup

* require cmake 3.8 only when thrust is enabled

* fix nvcc compiler error when passing -pthread

* add missing include

* add USE_THRUST option in config.cmake

* retrigger CI

* retrigger CI

[AutoTVM] Temporary fix to the stack overflow issue in autotvm task extraction (#5019)

* Temporary fix to the stack overflow issue in autotvm task extraction

* fix lint

* fix graph tuner test

Add colors to compute_at edges and thread/block indices. (#5111)

[TIR][TARGET] Refactor Target codegen to use IRModule and PrimFunc. (#5107)

As part of the unified IR refactor.
This PR refactors the target codegen to use IRModule containing tir::PrimFuncs.

In order to break the refactor into several steps without breaking the codebase,
we built an conversion pass to convert Array<LoweredFunc> into IRModule.

The follow-up refactors will gradually move the passes covered by IRModule up
until we cover all the passes. Then we can remove the additional redundant
concepts such as LoweredFunc.

[Torch] Add initial 3D op support and test on Resnet 3D (#5075)

* fix minor lint issue

* add conv3d and adaptive avg pool3d conversion with test

* fix max pool handling

* add batch norm 3d test

* add resnet 3d test

* add more conv3d test

* clean up batch norm test

* add note on disabling inception v3 test

* add more tests

* add more tests

* fix names

[DOC] Add doc for Relay op strategy (#5078)

* [DOC] Add doc for Relay op strategy

* update

* address more comments

* update

* update

[Relay][Frontend][ONNX] operator support NonZero (#5073)

* [Relay][Frontend][ONNX] operator support: NonZero

* update

* Solve the build fail

* solve the build fail

* Replace ctx_list with tvm.cpu()

[ConvertLayout] Support QNN ops. (#5066)

* [ConvertLayout] Support QNN ops.

* Changing layouts to C.

* Fixing dilation.

* Empty commit.

Co-authored-by: Ubuntu <ubuntu@ip-172-31-53-55.us-west-2.compute.internal>

[TUTORIAL] Fix vta tutorial after relay function refactor (#5095)

[Torch, QNN] Add missing upcast to uint8 avg_pool conversion  (#5089)

* add missing upcast to avgpool

* add avg pool test

[RELAY] Codegen_c.h should include relay.function (#5093)

Change-Id: I015b2c66a50b64d0eb2e9efe336f6c18ea1fdc67

Description updated for pooling attributes (#5091)

[CODEGEN][OPENCL] Explicitly cast min/max operands (#5090)

* [CODEGEN][OPENCL] Explicitly cast min/max operands

* retrigger CI

create function.py (#5087)

Replace UseDefaultCompiler with GetAttr (#5088)

Change Azure pipeline badge to GH actions (#5081)

[RELAY][PY] Fix relay node registration after refactor (#5083)

[Refactor][Relay] Refactor Relay Python to use new FFI (#5077)

* refactor relay python

* revert relay/ir/*.py to relay

* Address comments

* remove direct access to analysis and transform namespace

[Relay, TF Frontend] Dilation2D operator support (#5033)

* update docs for dilation 2d

* dilation2d compute

* dilation2d register

* dilation2d rel compute

* dilation2d strategy

* dilation2d attrs

* dilation2d generic schedule

* dilation2d tf frontend support

* dilation2d tf frontend test case

* dilation2d test cases

* pylint fixes

* add exception for cuda target

* Update docstring

* Update docstring

* change rates to dilations

* removed unused param

* merge master

* Update nn.py

* Update nn.py

[TFLITE]DepthToSpace and SpaceToDepth support (#5041)

* [TFLITE]DepthToSpace and SpaceToDepth op parser support

* DepthToSpace and SpaceToDepth testcases

* Review comments fixed

Tensorflow script upgrade from 1.13.1 to 2.0.0, so that it can run in both versionsw (#4963)

Return empty CSourceModule when no lowered_funcs exists in Relay mod (#4847)

* Use dummy func when no lowered_funcs exists in Relay mod

* Dummy func -> CSourceModule with empty code str

* Added comments describing the empty CSouceModule

* Always import external modules w/o assertions

* Use CSourceModule as a fallback for LLVMModule

* Changed cond for target == llvm

* Create an empty LLVM module w/o using dummy func

* Avoid using IR str concat to create LLVM module

* Improved comments for codegen.LLVMModuleCreate

* Satisfy the linter for LLVMModuleCreate

[Team] jwfromm -> reviewer (#5076)

[IR] Update the type_keys to reflect the code-org (#5074)

[Relay, TOPI] Refactor Adaptive pool and add 3d support (#5049)

* add stub for nd impl

* refactored indices compute

* refactored divide step

* remove unused variables, add doc

* fix lint

* add relay op def

* add python registration

* refactor topi test

* update relay tests, but test result is weird

* workaround for weird bug

* add relay adaptive pool 3d test

* add topi tests

* update doc for 3d

* typo fix

* fix lint

* add more tests including NDHWC

Add support for FusedBatchNormV3 (#5065)

No changes seem to be needed to _fused_batch_norm. It just works.

[TESTS] Triage the testcases to fit the the new namespaces (#5071)

* [TESTS] Triage the testcases to fit the naming convention of the new namespaces

* Remove multiple usage of system lib to avoid test problems

[TIR] Introduce tir::PrimFunc (#5070)

This PR introduces tir::PrimFunc which will be used as the TIR function
container in the unified IR.

Also streamlined the function attributes a bit further.
- All common attributes are under tvm::attr
- TIR specific attributes are under tvm::tir::attr and comes with a tir prefix
- Use stl_style for attributes for now

[COMMUNITY] Add @abergeron -> reviewer (#5064)

[Torch, QNN] Remove FP32 piggy back and use QNN add/mul/concatenate (#5061)

* use qnn add/mul/concatenate

* remove logging

[Relay][AutoTVM] Bug Fix for ARM CPUs. Lower strict assumption. (#5063)

[Relay][Pass] Add submodule extraction pass (#4960)

* rebased

* fix lint

[Graph tuner]Add opt out operator for has_multiple_inputs for graph tuner (#5000)

* consider layout_transform in has_multiple_inputs

* refactor code

* remove debug info

* remove subclass assignment

* refactoring a little bit

* remove default value

* remove trailing whitespace

* modify test for has_multiple_inputs

Co-authored-by: Ubuntu <ubuntu@ip-172-31-40-194.us-west-2.compute.internal>

[DOCS] Move git_howto to rst, add Stage documents to te (#5055)

[PY] Require python3.6 (#5057)

maintenance (#5058)

[Bugfix][IR][ATTRS] Fix AttrEqual for Array and StrMap, double (#5054)

- Use fuzzy comparison for double.
- Removed the hack for BatchNormAttrs and DictAttr.

Also removed a warning from text printer printing.

[C++] Require c++14 by default (#5056)

CI: Install apt-transport-https (#5053)

The ubuntu_install_llvm.sh script started failing because of a http to
https redirect.  This patch adds the package that allows apt to handle
https transport.

Change-Id: I70bcba32a9fc75d02c54f4f21f288b2f46226689

[Autotvm] Fix autotvm customized template (#5034)

* init

* fix template

* tweak naming

[Strategy] Support for Int8 schedules - CUDA/x86 (#5031)

* [CUDA] Op strategy changes for Int8 schedules.

* Applying Haichen's suggestions.

* Make 4D output work for task extraction.

* Make x86 work.

* Fix lint.

* Lint fixes.

* Tests, comments, out channel a multiple of 4.

* Topi test.

Co-authored-by: Ubuntu <ubuntu@ip-172-31-38-96.us-west-2.compute.internal>

[1] Test case modified for int type (#5012)

Fixed div by zero core dump. Fixed rounding intrinsics on int crash (#5026)