[Relay][Legalize] Legalize conv2d_transpose for NHWC (#4399)

[RUNTIME] Move module export to the function level. (#4405)

[TVM][RUNTIME] A minimum example to generate external library wrappers for DSOModule (#4280)

[LICENSE] add 3rdparty licenses (#4402)

* [LICENSE] add 3rdparty licenses

* rename license files to .txt

Added tflite frontend support for quantized mean. (#4339)

[DOCS] Mention incubating in readme (#4401)

[Golang][Doc] improve the samples and doc (#4385)

* [Golang][Doc] improve the samples and doc

* [Golang][Doc] add asf header

* [Golang][Doc] Improve the end to end example

* [Golang][Doc] Improve the end to end example

update_document_after_repository_renamed (#4398)

Update Jenkinsfile for external runtime (#4396)

[Relay][VM] Clean up the VM and VM profiler code (#4391)

* [VM] add a few more API to vm

* [VM][Fix] fix vm convert args

* [VM] a few fixes

* rename fields

* update

* update vm profiler

* x

* add doc

* lint

* fix test

* address comments

[TOPI] Fix flaky testcase for floor div (#4382)

* [TOPI] Fix flaky testcase for floor div

* avoid check at 0.0

Add Logan to reviewer (#4390)

Update compile_engine.py (#4393)

[Relay][Frontend][TF] Fix slice when begin or size is not Const (#4372)

* fix slice bug when input is param

* use _infer_value rather than _infer_value_simulated

add GPU checking before compilation for rocm (#4394)

Previously, we would rely on the later phases to error out
(often for using too much shared memory). This enables the
checks on the IR that already exist for CUDA and OpenCL also
for ROCm.

[QNN] Lowering for Depthwise Convolution. (#4351)

[fix][pass] Save the function when it is used as a call arg (#4389)

[CI] Add more info, per exec ws isolation (#4388)

[ThreadPool] Solve thread transitions issue (#4344)

* [ThreadPool] Solve thread transitions issue

* Use pthread_atfork to avoid master thread affinity be derived by child.

* Code Format

* comment of exclude_worker0_

* set full cpu affinity

* Redundant blank line

* CPPLint

* CPPLint namespace

* CPPLint

* Fix the wrong logic of bind master thread.

Compare all outputs in TFLite test_forward_ssd_mobilenet_v1 (#4373)

[team] add Yizhi's pgp key (#4380)

fix build with llvm trunk (#4386)

[doc] fix typo, codege to codegen (#4383)

[CI] Avoid content-length request in test data download (#4375)

[nvcc] enable multiple arch in one fatbin (#4377)

[Relay][Quantize] Integrate data-aware calibration into quantization (#4295)

* [Relay][Quantize] Integrate data-aware calibration into quantization

* Update _calibrate.py

* trigger ci

* Address comments

* address comments

[PERF] Parallelize reduction for CPU (#4158)

* [PERF] parallel reduction in cpu

* fix

* x

* update

* lint

* fix

[tutorial][benchmark] nnvm -> relay (#4368)

* [tutorial] nnvm -> relay

* use relay workload

* delete movbilenetv2 option

Fix TFLite RESHAPE assert (#4320)

[Relay tests] AlterOpLayout - Temporary attr update (#4357)

add rule for clean (#4364)

* add rule for clean

* Update clean rule

Seems like lib/ directory is not made by the makefile
So don't delete directory, just the contents of it.

reminding message for TVM_REGISTER_NODE_TYPE (#4365)

fix Android and OpenCL docker install (#4363)

[SOURCE] Add ASF header to __init__.py files (#4359)

[Frontend]Add TensorFlow FloorMod (#4308)

* Add tf FloorMod

* Add floor_div/mod into topi and relay

* Add to rst

* Fix test

[Relay][Frontend][Tensorflow]Add conv2d_transpose (#4300)

* [Relay][Frontend][Tensorflow]Add conv2d_transpose

* add transformation from NHWC to NCHW to compatible with TVM conv2d_transpose implementation

* remove 'dilations' paramater to compitable with TF1.3

Send list as argument to schedule_conv2d (#4358)

When getting cuda schedule passing single tensor seem to work but after changing target to "llvm" causes assert.
Sending list on other hand makes both cuda and llvm targets happy.
See https://discuss.tvm.ai/t/solved-simple-example-error-attributeerror-tensorslice-object-has-no-attribute-op/2245/3

Fix docstring in topi.nn.fifo_buffer (#4349)

Retain qnn input kernel scales (#4292)

* Add qnn conv2d attributes for input_tensor_scale and
kernel_tensor_scale.

The lowering in the tflite frontend loses the input_tensor_scale
and the kernel_tensor_scale by multiplying it and putting it into
the Requantize operation. This means that any graph partitioning
passes or other passes that need to access this information no longer
have it available in the qnn dialect.

regards
Ramana

* Store input tensor scale and Weight tensor scale for Dense as well

As for conv2d, the tflite frontend drops the input tensor
scale and the weight tensor scale from the relay op. Store
it as separate fields in there.

* Fix unintentional tab

* Rename input_tensor_scale to input_scale and kernel_tensor_scale
to kernel_scale for conv2d.

* input_tensor_scale -> input_scale weight_tensor_scale->weight_scale

* Rework dense testcase

And use input_scale and kernel_scale

* Be consistent in use of input_scale and kernel_scale values

* Fixup qnn conv2d tests for input_scale and kernel_scale

* Make pydoc identical between conv2d and dense for weight_tensor

* Fix up conv2d parameters to be in the same order between C++ and python

* Fix ordering of parameters for dense.

* Add input_scale and output_scale to try and satisfy ci gods

* Delete input_scale and kernel_scale.

nn.conv2d does not contain input_scale and kernel_scale. We need
to delete it when lowering it to nn.conv2d.

* Add input_scale and kernel_scale for qnn.conv2d

[Debugger] Sorting op-time breakdown for quicker analysis. (#4352)

proper device query through rocm api (#4305)

fix install script (#4350)

AutoTVM: selecting tuning templates when extracting task (#4338)

* AutoTVM: selecting tuning templates when extracting task

Make the procedure of trying new templates easier.

Test: tests/python/relay/test_autotvm_task_extraction.py

* Use dict to match key for topi ops

* fix lint issue

* be more pythonic :)

Add workgroup size attribute to AMDGPU functions in codegen (#4342)

When we did not set the workgroup size, LLVM will use too many registers
for kernel launches with many threads. This resulted in "invalid ISA"
errors. Here we set the maximum workgroup size to the maximum threads
per block from the device API.

Of course, one might look into allowing configurations with fewer
threads at runtime to use more registers.

[FIX] Fix for a specific case when loop partitioning with indivisble (#4243)

factors and resulting nested loop is broken.
This is due to the fact that we are creating zero extent loops which
are fixed afterwards. However unroll pass breaks due to the zero extent
loop.

[Relay][VM][Interpreter] Enable first-class constructors in VM and interpreter via eta expansion (#4218)

* Fix constructor pretty printing

* Make Module::HasDef name consistent with API

* Add VM constructor compilation via eta expansion

* Lint

* Fix CI

* Fix failing test

* Address comment

* Retrigger CI

* Retrigger CI

[COMMUNITY] Add DISCLAIMER, KEYS for ASF release (#4345)

* [COMMUNITY] Add DISCLAIMER, KEYS for ASF release

* Add file name spec

Add check to ensure input file was successfully opened in NNVM deploy code demo (#4315)

Bump up CUDA log version in tophub.py (#4347)

[CodeGen] Add build config option disable_assert to control whether to generate assert (#4340)

fix inconsistent tag name (#4134)

[VTA] Bug fix for padded load with large inputs (#4293)

* bug fix for padded load with large inputs

* Update TensorLoad.scala

* Update test_vta_insn.py

imp module is deprecated (#4275)

[Relay][Frontend][ONNX] operator support: DepthToSpace, SpaceToDepth (#4271)

[Test][Relay][Pass] Add test case for lambda lift (#4317)

[RUNTIME] Add device query for AMD GcnArch (#4341)

* add gcnArch query

* kGcnArch query for cuda is a no-op

[Relay][Frontend][TF] Fix transpose when axes is not a param (#4327)

* [Relay][Frontend][TF] Use _infer_value_simulated when axes is not a const to Transpose

* uncomment tests

* dummy change to retrigger ci

[Contrib] Add MKL DNN option (#4323)

* [Contrib] Add MKL DNN

* update

* update

Deprecate NNVM warning msg (#4333)

Solve custom model of prelu (#4326)

Add topi.nn.fifo_buffer to TVM doc (#4343)

Add support for quant. mul operator in tflite frontend (#4283)

A test for qnn_mul has to be added when the qnn elemwise tests (#4282) get merged.

[Relay][Pass] Add pass to remove unused functions in relay module (#4334)

* [Relay][Pass] Add pass to remove unused functions in relay module

* Add tests

* Fix lint

* Fix visit order

* Add pass argument

* Fix

Enable hipModuleGetGlobal() (#4321)

[Build][Windows] Fix Windows build by including cctype (#4319)

* Fix build

* dummy change to retrigger CI

* dummy change to retrigger ci

* dummy change to retrigger ci

[CI] Set workspace to be per executor (#4336)

[Codegen] remove fp16 function override for cuda  (#4331)

* add volatile override back

* [codegen] remove fp16 function override for cuda

change ci image version (#4313)

[doc][fix] fix sphinx parsing for pass infra tutorial (#4337)

[QNN] Use Int16 upcast in Fallback Conv2D. Fix test names. (#4329)

[QNN] Quantize - Fixing the sequence of lowering. (#4316)

[CI][DOCKER] Add ONNX runtime dep (#4314)

* [DOCKER] Add ONNX runtime dep

* Improve ci script

fix error when memory_id is VTA_MEM_ID_OUT (#4330)

[QNN][Legalize] Specialize for Platforms without any fast Int8 arithmetic units. (#4307)

[TOPI][OP] Support Faster-RCNN Proposal OP on CPU (#4297)

* Support Proposal operator on CPU.

* PyLint space issue

* PyLint space issue

* Pylint singleton-comparison issue

Fix the TF tutorial to run against TF2.0 and TF1.x (#4104)

* WIP Run the TF tutorial on TF2

* Remove debugger statement.

* Complete the support for TF2.0's `resize`.

TF2.0 adds a `half_pixel_centers` attribute to the `resize` function in
the image API. This commit completes the hooks in Relay's TF frontend.

At the point of this commit, no new test yet. Also, this commit
addresses solely the `resize` change. Other commits address other
changes in TF2.0.

* Support TF2.0 in the tutorial by using the compat API.

This looks cleaner than trying to detect the TF version.

* Use the TF compat API, so as to support TF2.0.

This is a direct change, relying on the compat API provided by the TF
team.

This code will last as long as the compat API exists, so a
"proper" support for TF1.x and 2.x will require more work in some
future.

* Partial support for EXPLICIT padding introduced in TF2.0.

Explicit padding is a special case in TF2.0 (see reference linked
below). Some models are serialized with that mode, and break TF support
in TVM.

Support is *partial* as EXPLICIT falls back to set padding on the
Relay op, which only supports 2 values. At some point, padding may need
to be extended to support 4 values, but that is out of scope of this
support commit.

Reference on EXPLICIT padding: https://github.com/tensorflow/tensorflow/commit/ec81825aaf7e848d9f8ddffdf1e0d20aebe9172c#diff-1d1c0bb0a880f85b6164f71dbb2f446e

* Guard on checking for optional TF2.0 attribute.

* Do not expect Relay to implement TF-specific attributes.

The `half_pixel_centers` attribute is a new feature in TF2.0. Earlier
commits of mine mistakenly introduce them in the Relay API. This is
probably not what Relay is expected to support, and the semantics of
`half_pixel_centers` is unclear (to me, at least) at this point.

* Remove unclear comment.

CR https://github.com/dmlc/tvm/pull/4104#discussion_r338705742

Addresses #4104

* Changes after review.

Complying without understanding the rationale for now.

* Fix the arguments set mistakenly.

An argument ignored for the wrong operation.

[Relay][Op][TF] Complete tensor array unstack with all ranks support (#4309)

Add test for the qnn_add operator (#4282)

* Add test for the qnn_add operator

The tests use fake quant approach so until the tf session tensors remain in float32.
The test data has to be passed in uint8 because of how the tflite/tvm comparison works.
Abs tolerance up to 1 is allowed for the qnn results. For now input_stats are hardcoded
assuming the tests for the other qnn ops will pass the input data in the same range.

* Separate qnn uint8 test function from the fp32 elemwise tests

Isolate qnn uint8 elemwise tests
Remove blank lines

add (#4311)

[Relay][Frontend][Keras] batch_norm op params not handling well (#4310)

* Relay Keras frontent batch_norm op params not handeling well

* add unit test for Relay Frontend Keras batch_norm

Fix incorrect call to Unicode Win32 InetPton (#4306)

* Fix incorrect call to Unicode Win32

* Removed inet_pton call. Win32 already has it.

[Relay][Frontend][Tensorflow] Fix type assignment for operator 'tf.range' (#4294)

Add More Shape Functions (#4179)

* Add shape functions

* Fix get_const_tuple

* Fix cpplint

* Fix pylint

* Fix pylint

* rebase and fix

* Check Any for infer type

* Fix expand_dim shape func for zero rank input

* Fix pooling infer type

* Address comment

* Register layout transform attr

[TF][Relay][Op] Pass module when infer shape (#4287)

* [TF][Relay][Op] Pass module when infer shape

* Fix lint

* Improve style

* Add test

[RUNTIME][REFACTOR] Use object protocol to support runtime::Module (#4289)

Previously runtime::Module was supported using shared_ptr.
This PR refactors the codebase to use the Object protocol.

It will open doors to allow easier interpolation between
Object containers and module in the future.

[TF][TEST] add test_forward_reduce_any back (#4301)

the test case was removed in #4181 for some reason
@tqchen @soiferj @zhiics

Fix tf reshape (#4285)

* Fix tf reshape

* Fix test

* Fix pylint

* Fix pylint

[tutorial] Relay pass infra tutorial (#4083)

* Add pass manager tutorial

* fix some examples

* retrigger ci

* Update tutorials/dev/relay_pass_infra.py

Co-Authored-By: 雾雨魔理沙 <lolisa@marisa.moe>
* Add ToANormalForm link

[TOPI][AlterOpLayout][ARM] Enabling NHWC to NCHW layout transformation. (#4249)

[RUTNIME] Support C++ RPC (#4281)

[TFLite] Support PRelu (#4298)

[Test][TF][Relay] Fix argument preparation for vm test mode (#4296)

[Codegen][cuda-fp16] fallback to fp32 simulation when cuda arch < sm53 (#4268)

Rename ml.dmlc.tvm to org.apache.tvm (#4290)

Auto TensorCore CodeGen (#4234)

* Add Auto TensorCore TensorCore Unit Test

* Rebase to tvm master branch & Add auto tensor core

* Code Refine

* Add tensor core switch by pragma

* Add pragma in tensor core example code

* Get real tile size to replace hard coded 16

* support more than 2 dimensions (e.g. batchmatmul) for buffer bind scope

* support batch matmul

* Move cuda env check to tensor_core.cc

* Coderefine for tensor_core.cc

* Refine comments

* Some refinements of code and comment

* Update TensorCore UT to pass the CPU test

* remove redundant code

* matmul's storage align for different layout

* Add support for differenct position of type cast

* Add formal tutorial for auto tensorcore codegen

* move tensorcore check up to tutorial code

* code and doc refine

* comment out tune_and_evaluate in tutorial

* fix cpplint error

Update tvm_runtime.h (#4278)

fix the problem that android_rpc compilation failed

[TOPI][CUDA] Fix Winograd Kernel Size Support (#4276)

* fix_winograd_cuda_kernel_size

* add unit test

[Relay][Frontend][ONNX] Add support for broadcasting to Where and MatMul (#4267)

[AutoTVM] Add batch_matmul to tunable operations (#4242)

* Batch matmul tuning running but with errors.

* Default x86 schedule as good as before.

* Code Cleanup

* Remove unused argument.

* improved template documentation.

* Silly lint fix

* Removed leftover comment.

* Moved cfg declaration to schedule for batch_matmul

* Moved x86 dense cfg declaration to schedule.

* lint fix

* Removed duplicate cfg declaration in dense.

* Reverted changes to dense.

[TOPI] Fix bug in Winograd on CUDA (#4260)

* fix winograd

* move get padding after kernel transform