[Relay] Setting Legalize opt_level to 1. (#4198)

Fix type var docs (#4208)

[RUNTIME] Separate runtime related contrib into runtime/contrib (#4207)

[VTA][Chisel] TSIM VTA Source Refactor (#4163)

* app init push

* fix on readme

* change name, add bit serial explanantion

* rm serialLoadMM, change doc

* syntax change for readme

* add parallel test functionality

* fix readme

* add python doc

* syntax

* init commit

* fix empty line

* fix typo

[Relay][Frontend][ONNX] Add support for op Where (#4184)

* Add support for op Where

* Update impl version

[Relay][Params] Add APIs for storing and retrieving parameters from individual functions. (#4194)

* Add support for attaching params

* Fix types

* Fix test

[Relay][Training] Add checkpoint annotation for checkpointing memory optimization (#4146)

* add checkpoint annotation for checkpointing memory optimization

* add alpha-equivalence checkpoint test and fix gradient type issue

* fix build issues

* ignore checkpoint annotation when checking missing gradients

* refactor, fix checkpoint compute for tuple and add tests

[hotfix] missing include headers (#4204)

[Relay] crossentropy_with_logits and its gradient (#4075)

* save

* lint

[TOPI][x86] Legalize - Support int8xint8 convolution to use VNNI instructions. (#4196)

hotfix the ci (#4199)

[NODE][REFACTOR] Refactor reflection system in node. (#4189)

* [NODE][REFACTOR] Refactor reflection system in node.

- Removed the old Node, Node is now just an alias of runtime::Object
- Introduce ReflectionVTable, a new columnar dispatcher to support reflection
  - This allows us to remove vtable from most node objects
  - The VisitAttrs are registered via TVM_RESGITER_NODE_TYPE,
    they are no longer virtual.
- Consolidated serialization and reflection features into node.

* Explicit type qualification when calling destructor.

* Fix SPIRV, more comments

TensorCore Support using Intrinsic (#4136)

* add tensor core support

* avoid memory bank conflict

* fix thread sync & better performance

* better performance

* add schedule test for conv2d

* extend into BatchMatMul

* support config fragment shape and layout using intrinsic

* add TensorCore tutorial

* add int support and fix lint

* address comment

* add 32*16*8 TensorCore test

* fix wmma include logic

[TOPI] Tunable Template for Conv2D HWCN on CUDA (#4168)

* support conv2d HWCN in AutoTVM and Relay

* fix lint

* fix comments and unit tests

[Relay] Fix memory leak in the interpreter (#4155)

* save

lint

* address reviewer comment

Add parser support for SUM tflite operator (#4182)

[relay] use time_evaluator for measurement (#4191)

[Documentation]Fix example code in comment of tvm.build_module.build() (#4195)

* Fix example code in comment of tvm.build_module.build()

* Update build_module.py

Split adaptive_pool2d_avg into sum and div (#4186)

[cmake][ANTLR] Support setting path to ANTLR jar (#4176)

* Support setting path to ANTLR jar

* Update comment

Revert "[Relay][QNN] Add unit test for int8 (#4159)" (#4192)

This reverts commit 6f9d028b80f9e41fd577b5c6a7229cafcfc72173.

[DOCS] Add TensorFlow frontend docs (#4154)

* Start to update TF frontend docs

* Add rst

* Remove markdown

* Update wording

* Resolve comments

Add support and testing for tf.assert (as no-op) and tf.no_op to TF Relay frontend. (#4172)

[rpc] use callback func to do send & recv (#4147)

* [rpc] use callback func to do send & recv. don't get fd from sock as it is deprecated in java

* fix java build

* fix min/max macro define in windows

* keep the old rpc setup for py

* add doc for CallbackChannel

[Pass] Remove dead code (#4177)

[Relay][Frontend][TF] Fix Size operator (#4175)

* [Relay][Frontend][TF] Fix Size operator

* Uncomment tests

[TOPI] Added support for Mali Bifrost target (#4047)

merge extract_from_program and extract_from_multiple_progam (#4173)

add missing gradient check to gradient pass (#4169)

[relay][vm] Reuse allocated device memory (#4170)

[Relay][QNN] Add unit test for int8 (#4159)

* [bugfix][codegen] fix casting bug in llvm codegen

* update example

* retrigger ci

* check llvm version

[Relay][Pass] Count MAC for BatchMatMul (#4157)

* count MAC for BatchMatMul

* update doc

Fix missspelling (#4166)

FIX "After connecting he usb" with "After connecting the usb"

Add support for quantized multiply to Relay (#4141)

This patch adds multiply operator for quantized tensors.
The details of the quantized multiplication are outlined
in the code.

This builds on pull request 3927 and includes the changes
Animesh mentions in the comments on that request.

Change-Id: I555715b53d0266a91d5c03dc3dfe8fc31e7ce4e1

[CI] Move golang tests to the end (#4164)

[REFACTOR][NODE][RUNTIME] Move Node to the new Object protocol. (#4161)

* [REFACTOR][NODE][RUNTIME] Move Node to the new Object protocol.

This PR removes the original node system, and make node as a subclass of Object.
This is a major refactor towards a better unified runtime object system.

List of changes in the refactor:

- We now hide data_ field, use Downcast explicitly to get a sub-class object.
- Removed the node system FFI in python.
- Removed the node C API, instead use PackedFunc for list and get attrs.
- Change relay::Op::set_attr_type_key(attr_key_name) to relay::Op::set_attr_type<AttrType>().
  - This change was necessary because of the new Object registration mechanism.
  - Subsequent changes to the op registrations
  - The change revealed a few previous problems that is now fixed.
- Patched up a few missing node type registration.
  - Now we will raise an error if we register object that is not registered.
- The original node.h and container.h are kept in the same location.
- Calling convention: kObjectHandle now equals the old kNodeHandle, kNodeHandle is removed.
- IRFunctor now dispatches on ObjectRef.
- Update to the new type checking API: is_type, derived_from are replaced by IsInstance.
- Removed .hash member function, instead use C++ convention hasher functors.

* Address review comments

[Runtime] Enable option to use OpenMP thread pool (#4089)

[Refactor] Rename Datatype to ADT (#4156)

We think it will reduce the confusion with the meaning.

https://discuss.tvm.ai/t/discuss-consider-rename-vm-datatype/4339

[CI] Update cpu docker (#4153)

Add lift_if_then_else pass (#3865)

* Add LiftIfThenElse pass

* Add more comments

* Rename and refactor

* Add description for internal data structure

* Rename a test

* Minor change

* Address comments

* Improve update_for

[QNN][TFLite] Parsing QNN Add op. Adding MobilenetV2. (#4142)

[CI] Pin NNPack pthreadtools version (#4152)

Fix typo (#4144)

[Relay][Frontend][TF] Add tensor array ops (#3798)

* [Relay][Frontend][TF] Add tensor array ops

* rename

* delete test

* Move utility function

* Refactor

* fix tensor array ops

* fix test

* fix rebase

* Fix serializer bug

* Improve tf convert name lookup to use prelude api

* Fix lint

* Fix test

[relay][vm] Separate VM runtime with executable (#4100)

* [relay][vm] Separate VM runtime with executable

* Address comments

* move ctx back to vm

* make only vm related fields and methods protected

* integrate seriliaztion/deserialization to executable

* create stream

[PATCH] Fix undefined __floatdihf in libtvmruntime.so on aarch64. (#4119)

Arm architecture provides optional FP16 floating point support in two alternative formats, IEEE and an an alternative Arm format.

The ACLE (Arm C Language Extension) defined preprocessor symbol __ARM_FP16_FORMAT_IEEE can be used to distinguish between implementations providing IEEE and the Arm alternative format, but cannot, on its own, be used to determined if FP16 HW support is actually present.

Testing this preprocessor symbol can lead to undefined __floatdihf at runtime on an aarch64 target where no FP16 HW is present.

The relevant preprocessor symbol to determine whether FP16 HW support is present in the target is __ARM_FEATURE_FP16_SCALAR_ARITHMETIC, this symbol implies  __ARM_FP16_FORMAT_IEEE.

The relevant preprocessor symbols are defined by the ACLE standard, section 5.5.21 16-bit floating-point data processing operations, https://static.docs.arm.com/101028/0008/Q2-ACLE_2019Q2_release-0008.pdf

[DOCKER] Pin torchvision==0.4.1 (#4140)

The existing sequence of pip install commands fetches and installs
torch==1.0.1.post2 then fetches an unpinned version of torchvision,
recent torchvision packages hardwire the specific torch version they
depend on, the overall effect is that we install a pinned torch
version then replace it with whatever version the torchvision package
depends on.

The most recent torchvision==0.4.1 package results in some test case
failures.

This patch pins torchvision back to 0.4.0, the most recent version
that the test suite worked.  Removing the explicit torch install
because it is implied and pinned as dependency of torchvision.

Change-Id: Ib30bf6aed79ff130ea15ef5134fefb0508790574

[TOPI][x86] Cascade lake support. (#4123)

* [TOPI][x86] Cascade lake support.

* Jenkins test debug 1.

* Testing cascade lake alone.

[Relay] Improve build error when no lowered funcs are produced (#4132)

* Improve build error when no lowered funcs

* Switch from fatal to warning

[RUNTIME] Refactor object python FFI to new protocol. (#4128)

* [RUNTIME] Refactor object python FFI to new protocol.

This is a pre-req to bring the Node system under object protocol.
Most of the code reflects the current code in the Node system.

- Use new instead of init so subclass can define their own constructors
- Allow register via name, besides type idnex
- Introduce necessary runtime C API functions
- Refactored Tensor and Datatype to directly use constructor.

* address review comments

Update PULL_REQUEST_TEMPLATE.md

Adding support for dequantizing from int32 to float32. (#4130)

[Relay][Training] Add and fix gradients (#4126)

* add and fix gradients

* fix linter issues

[QNN] Change default rouning to UPWARD. (#4131)

Fix infer type of kernel in dense. (#4125)

* Fix infer type of kernel in dense.

* - Moving the check of weight being nullptr up as it is needed in both the branches now.
- Adding test case for validating that data dtype and kernel dtypes can be different.

* - Fix the dtype check for weight. If the weight is not present then we will use the data dtype.

[Relay][AlterOpLayout] NHWC to NCHWc pad operator. (#4103)

* [Relay][AlterOpLayout] NHWC to NCHWc pad operator.

* Fixing culprit.

* Flaky test 1.

* Flaky test 2.

[ARITH] Fix lowering of floormod(x, y) != 0 (#4127)

[RFC][RUNTIME] Introduce new object protocol. (#4115)

* [RUNTIME] Introduce new object protocol.

This PR introduces a new object protocol to unify the node and object.
We also updated the existing runtime::vm code to make use of the new system.

Update to the node will be done in a follow up PR.

Other changes:

- Remove object related code in json serializer as that code logic was not complete
  and we have a separate serializer for VM, can revisit later.

* address review  comment

* Fix the child slot logic

[Relay][Topi] Disable conv NHWC pack int8. (#4038)

Update task_cpp_unittest.sh

Revert ci-cpu due to nnpack issue (#4124)

[QNN][TFLite] Parsing TFLite quantized models. (#3900)

[CI] Update ci-cpu to latest (#4121)

add dependency of compilation with LLVM (#4117)

Add parser support for CAST tflite operator (#4096)

This implementation provides cast to limited number of dtypes
that tflite currently supports for placeholder op. Add INT64 in the
possible dtypes as it appears to be supported accrording to tlfite schema.

adding soiferj to the list of reviewers (#4108)

[codegen] Add multiple operands and function support when using fp16 compilation (#4056)

* overload half operators for cuda codegen

* add float16 te test_op_level1

* fix test_op_level1.py

* fix lint

* disable fp16 test if gpu does not support

* disable fp16 test if gpu does not support

* bypass float16 test if gpu does not support float16

[Fix] Fix a few bugs when dtype is fp16 (#4088)

* Fix layer norm for fp16

* [Fix] Fix arange for fp16

* [Fix] Fix mxnet frontend for fp16

* [Fix] Fix arange for fp16

* remove comments

* x

* fix nnvm

[tvm][any] broadcast with values other than one (#3967)

* [tvm][any] broadcast with values other than 1

* Add test for incompatible runtime values

* Remove hybrid script compact buffer binding

* retrigger ci

force code object v2 for amd gpu backend (#4099)

Tutorial: update Building a Graph Convolutional Network tutorial (#4060)

* update build_gcn.py tutorial

updates
* support bias in GCN layer
* download pretrained gcn model
* verify model accuracy
* use time_evaluator to measure runtime

* fix adding bias in gcn layer

* remove printing output

* fix small bug

* add DGL-PyTorch comparison into the build_gcn tutorial

* add accuracy testing

* adjust import order

* handle different dgl versions

* update number for dgl version checking

[Relay][AlterOp] NHWC to NCHWc support for Pool, pad, concatenate, sum. (#4059)

[TOPI] FIFO buffer op, to accelerate sequence modeling with dilated convolutions (#4039)

* Add FIFO buffer op to enable explicit computation re-use in convolution

* Add a test

* Add end-to-end test with 1D convolution

* Add a stub in MXNet frontend

* Address reviewer comments

* Add back stub for MXNet frontend

[VTA][TSIM] Serial GEMM Application Added (#4082)

* app init push

* fix on readme

* change name, add bit serial explanantion

* rm serialLoadMM, change doc

* syntax change for readme

* add parallel test functionality

* fix readme

* add python doc

* syntax

Add a python tutorial of deploying tvm module with tvm runtime only (#4094)

correct error (#4093)

- Adding support for Mxnet flavored dequantization for both default and using MKLDNN. User can choose between the two at runtime. (#3945)

- Added tests for new methods added.

[Fix] Fix the logic of the number of nodes checking in op fusion (#4074)

* move the number of nodes constraint in op fusion up to the dom tree level

* add test case of limiting the max number of ops to be fused

* uncomment other test cases

Fixing tensor not found issue in bitserial operator (#4095)

[DOCKER] torch install depends on future package (#4098)

The torch package depends on the future package but the torch wheel
does not expose that dependency resulting in an inconsitent install.

Ideally the wheel should declare all of its dependencies, I'm not sure
why the packagers have choosen not to do this, for now the simple work
around is to explicitly install the future package.

Change-Id: Ic9f0f4bb4c78ab65706fc1b20c1b4fd287856a9e

[Relay][VM] Fix constant folding issue in VM compiler (#4077)

* [Relay][VM] Fix constant folding issue in VM compiler

1. allow pass params when compile a module
2. enhance profiler robustness

* remove dead code

* fix lint

* add get_params

* fix test

* don't pass params back

* remove get_params

* docs

* move compile function to api

* compile clashes with builtin name

* fix compilation error

* remove dead code

[TOPI] Add valid auto tvm for Intel Graphics (#4078)

* add valid autotune

* fix pylint

[TVM] Rewrite simplification rule to eliminate unnecessary conditionals. (#4076)

The current bounds checking infrastructure inserts checks like:

```
for (i, 0, bounds[n]) {
  if (likely(i < bounds[n]) {
     ...
  }
}
```

into the TVM IR which is currently not removed by simplification infrastructure.
This is a little unclean, as these are trivially true since for a loop var `i`
with a given min and extent, we are guaranteed that `i >= min` and `i < min +
extent`. Thus, we can insert these checks into the IR and use them to eliminate
trivial bounds checks early on.

[relay] Small refactor for context (#4091)

[TOPI][X86] Pool operator parallel support. (#4090)

[topi] enable fp16 sort for arm (#4084)

[ARITH] Add floordiv for the deduce bound (#4025)

Use fdiv in the tests for the deduce_bound

Fix wrong n_trial number in autotvm tutorials' progress bar (#4070)

if n_trial is larger then config space.

[VTA] hotfix for de10-nano driver (#4081)

Issue:
git clone latest TVM/VTA and run VTA on xilinx FPGA board, application
crashed due to the "call stack overflow" which caused by a infinite recursive
function call. this issue ever happen before and get addressed by PR 3843.

Analysis:
seems like de10-nano driver PR  used old code base then the  logic change
of 3843 get eliminated.

Solution:
add the logic back.

[CodeGen] Disable -mfloat-abi hard option for LLVM < 6.0 (#4071)

The -mfloat-abi hard option does not work for LLVM < 6.0 as it is ignored.
This adds a fatal error when using unsupported LLVM versions so that the failure
is not silent.

[AlterOpLayout][x86] NHWC to NCHWc conv support. (#4080)

[Fix][VM] Fix VM invoke with set_params (#4079)

* Fix VM invoke with set_params

* add test

* tweak

[QNN] Refactor fixed point multiplication in requantize (#4073)

Fix match case in Python-side expr functor (#4037)

Hide symbols from dependent libraries if HIDE_PRIVATE_SYMBOLS is ON. (#4041)

In current implementation HIDE_PRIVATE_SYMBOLS hides symbols from TVM
itself but not from its dependent libraries. This is problematic when
other third-party libraries with the same symbols are linked to the
same executable.

One example is using TVM with Mesa OpenCL drivers: they depend on LLVM
and load its shared libraries with RTLD_GLOBAL flag, which results in
conflicts with LLVM symbols that TVM uses. Arguably this particular
issue belongs to Mesa (here's their tracking bug:
https://gitlab.freedesktop.org/mesa/mesa/issues/236) but in general
that's the right thing to do regardless of this particular bug.

Note that I'm not enabling this functionality for Darwin as in my
earlier tests their linker didn't seem to understand "--exclude-libs"
(but I don't have test platform ATM to double-check).

Add gradient for log-softmax (#4069)

[DOC] Fix typos in tutorials (#4066)

fix some typos

dicrease the complexity of CalcDep from exponential to linear (#4053)

[Relay][AlterOp] Minor refactor. (#4064)

[Relay][AlterOp] Improving support for broadcast layout alteration. (#4040)