Support LLVM trunk (#3907)

* support LLVM trunk

* guard with USE_LLVM in if condition for c++14

* GREATER_EQUAL -> GREATER

Fix a typo (#3913)

Add .hsaco save/load for ROCm target (#3852)

fix lld

add luis as reviewer (#3909)

[VTA] Support TLPP in function simulator. (#3555)

* [VTA] Support TLPP in function simulator.
Issue:
currently vta function simulator just doing serialized instruction
execution, the dependency logic of runtime ISA which use for task
level pipe line parallelism can not get verified by function simulator.

Solution:
make the simulator driver to be multiple thread and support TLPP.

Benefit:
TLPP support VTA function simulator would make VTA logic testing/debug
/change more easy.

replace boost lockfree queue

add configure control for simulator tlpp enable or disable.

change code tyle into google style.

Wrap queue read/write and sync logic to make function call more simple.

Add some comments.

Remove MT logic, change into Single thread mode.

address review comments.

code style change to match google code style and add comments.

add cmake macro to enable/disable simulator tlpp logic.

submodule update.

correct file name mentioned in comments.

* remove USE_VTA_FSIM_TLPP.

[TOPI] Intel graphics conv2d autotvm template added (#3839)

* update lint

* lint fixed

* lint updated

* lint fixed

* lint fixed

* lint fixed

* updates

* add intel graphics as a package

* remove print info

* depthwise conv2d schedule added for intel graphics

* asdf

* fix lint

* fix lint

* fix ci

* add channels

save (#3901)

[Relay][Op] Make Type Relation catch more errors (#3899)

* save

* init

* move type_relations

[Relay] Add ADTs to text format (#3863)

* Getting closer to having ADT defs

* ADT defs working probly

* Match parsing basipally done

* came to earth in a silver chrome UFO

* match finished?

* All tests but newest are passing

* ADT constructors work

now cleanup?

* Cleanup round 1

* Cleanup round 2

* Cleanup round 3

* Cleanup round 4

* Cleanup round 6

* Cleanup round 7

* Lil grammar fix

* Remove ANTLR Java files

* Lint roller

* Lint roller

* Address feedback

* Test completeness in match test

* Remove unused imports

* Lint roller

* Switch to Rust-style ADT syntax

* Lil fix

* Add dummy `extern type` handler

* Add type arg to test

* Update prelude semantic version

* Repair test

* Fix graph var handling in match

* Revert 's/graph_equal/is_unifiable' change

[bugfix] remove duplicate resize (#3902)

Add another MKL name alias for MKL (#3853)

Installed through pypi

[schedule] Improve ceil_divide in tile/split (#3842)

[PYTHON/FFI] Search PATH for DLLs (#3888)

* Search PATH for DLLs

* Fix lint issue

[Relay] add Tuple pattern (#3596)

* implement tuple pattern

* add tuple pattern

* lint;

* lint

* lint

* fix error

* fix

* add test

Fix int32 range overflow by using int64 (#3870)

[Relay] Fix operator fusion for multiple output (#3871)

* save

* add test

* refactor

* fix indent

* save

* refactor

[DOC] Fix doc rendering  (#3897)

* Update from_source.rst

* Update deploy_ssd_gluoncv.py

[Test] enable NHWC of `relay.testing.mobilenet` (#3886)

* [Relay] enable NHWC of `relay.testing.mobilenet`

In this way, we can play around NHWC inside TVM regardless of
the frontends.

* [Test] test for NHWC of relay.testing.mobilenet

[VTA][TOPI] Conv2d transpose (deconvolution) operator support (#3777)

* initial conv2d_transpose

* correct select operator

* cleanup

* fix

* fix correcness check

* conv2d transpose declaration fix

* autotvm conv2d_transpose tuning script

* ir pass fix

* fix tuning script

* deriving params from env, adding bias

* removing bias comp from deconvolution

* lint

* fix

* lint

* lint

* turning off cpu

* lint, ops

* lint

* import fix

* removing hard coded values

* lint

[VTA][Relay] Extending Vision model coverage compilation for VTA (#3740)

* adding support for graphpack over multiply op

* increasing resnet model coverage

* fix indentation

* lint

* moving recursion limit fix into graphpack pass

* moving recursionlimit to relay init

* pooling on NCHWnc format

* adding more models

* deploy_resnet_on_vta.py

* trailing line

* generalizing to vision models

* merge conflicts

* fix, apply quantization to VTA only

* improving comments

* trimming models that have runtime issues for the moment

* lint

* lint

* lint

[Relay][Training] Small refactoring (#3893)

* init

* fix

[QNN] Add - Refactoring to C++ (#3736)

[VTA] de10-nano driver (#3394)

* rework;

* `de10-nano` -> `de10nano`;

* fix compilation error;

* bug fix;

* Update install.md

* Update install.md

* Update install.md

* update with current runtime;

* add debug messages;

* bug fix in cma kernel module;

Reveal hidden code snippets by inserting newline (#3892)

[VTA][Chisel] add ISA BitPat generation (#3891)

[QNN] Convolution 2D Implementation. (#3580)

Rebasing. Empty commit.

Clang-format styling.

[TENSORFLOW] Convert scalar Const into tvm.relay.const (#3885)

* [TENSORFLOW] Convert scalar Const into tvm.relay.const

* use _get_num_param() and _get_list_param()

[Relay] Add grads (#3857)

* Add gradient implementations

* Add docstrings to fix lint errors

[Relay][Frontend][darknet] Solve tvm parsing darknet resnext failure bug (#3778)

* test_darkent_bug

* test_darkent

* add resnext tests

[VTA][Chisel] add scalafmt and format existing scala codebase (#3880)

* [VTA][Chisel] add scalafmt and format existing scala codebase

* change column width to 100

* add scalafmt conf file as a valid file type

* add asf header to scalafmt conf file and rerun formatter

[VTA] Fix TSIM compile error in Linux (add missing -fPIC flag) (#3876)

* [VTA] Fix TSIM compile error in Linux (add missing -fPIC flag);

* [VTA] Fix TSIM compile error in Linux (add missing -fPIC flag);

* fix indentation problem;

Revert "[Runtime] Allow parameter sharing between modules (#3489)" (#3884)

This reverts commit 224cc243b4e54a77d011644fe7d81bdee8e8116b.

ONNX frontend operator support: And (#3878)

[Runtime] Allow parameter sharing between modules (#3489)

As GraphRuntime does not provide control-flow logics, we have to split
our model to two parts. While we need to share parameters between them
to save memory usage.

Solution:
1) add "lazy_init_input" in graph's attributes
   "attrs": {
     ... ...
     "lazy_init_input": [
       "list_str",
       [
         "p0"
       ]
     ]
    }
2) allow un-allocated NDArray entry in SetupStorage
3) utilize "set_input_zero_copy" function to set parameters

Remove extern C warpper for cuBLAS (#3877)

[VTA][Chisel] rename USE_TSIM macro with USE_VTA64 and cleanup runtime (#3872)

[Relay] [Parser] fix parser for cast. (#3873)

* fix

* lint

[WIP][µTVM] Add OpenOCD Low-Level Device (RISC-V Support) (#3756)

[QNN] Requantize - Optimize lowering for some corner cases. (#3864)

Implementation of tile for TFLite (#3814)

[Relay][Any] Add shape func for dynamic shape (#3606)

* init shape func in interpreter and vm compiler

* Update interpreter

* fix

* lint

* lint

* fix

* remove hack

* update

* fix

* fix

* update

* address comments & update for shape_of

* fix lint

* update

* fix hybrid

* lint

* fix bug & add take shape func

* lint

* lint

* update

* fix flaky test

* add todo

[NNVM][FRONTEND][ONNX] Fix PReLU conversion (#3813)

[Relay] Bitserial ops (#3844)

* Added arm_cpu NHWC schedules.

* Fixed kernel shape legalization.

* Added bitserial ops to relay.

* Snapshot and more missing files.

* Added dense testing.

* Added tests

* Added ASF header to new files.

* cc lint

* Pylint change.

* pylint fixes.

* Change arm legalize test.

* Added assert check to arm legalize.

* Added better documentation, fixed some bad style

* Reverted arm conv2d nhwc changes.

Add not operator for the frontend/onnx.py (#3836)

[VTA][TSIM] add virtual memory support to tsim example (#3868)

* [VTA][TSIM] add virtual memory support to tsim example

* fix identation

* remove USE_TSIM macro and use 32-bit addr instead

Improve numerical gradient check (#3856)

Add more cases to keras _convert_reshape (#3846)

[QNN] Concat - Refactoring to C++ (#3819)

[Relay][QNN] Moving Conv, Dense, Concatenate InferTypes to header for sharing. (#3783)

[Relay][QNN] QNNtoRelay & QNNLegalize Pass utility using Relay Legalize API. (#3838)

codegen_spirv support Call::reinterpret (#3795)

[VTA] Infinite recursive device_api.ext_dev call fix. (#3843)

Issue
when try vta on fpga board, would see a Infinite recursive
device_api.ext_dev issue that cause stack overflow and vta
failed.

Analysis:
device_api.ext_dev function in rpc_server.py is use to load
vta library, once vta library get load, device_api.ext_dev would
get replaced with vta function by vta library, vta device_api.cc
did such work, but because a logic issue in VTA.cmake, the said file
not get compiled, then vta would keep failing on rpc_server.py.

Solution:
fix the logic issue in VTA.cmake.

[VTA] Fix RewriteForceSerial Function logic issue. (#3854)

Issue:
RewriteForceSerial is a debug function to force instructions
to be serialize instead of parrallel running, by doing so we
can isolate some parallel problem or do performance compare
between parallel and serialize. But this function have some
problem, once get enabled by set debug flag, vta would stuck
when running on pynq board.

Analysis:
once enable RewriteForceSerial, the dependency logic is different
with default one, but we still use same logic to generate FINISH
and other logic, this would cause dead lock.

Solution:
give a different dependency settings when enable RewriteForceSerial.

[Relay] Conv2d grad (#3636)

* [Relay] Conv2d grad

* Fix test

* Fix first order gradient

Add build_create_shared_func to tvm/contrib/cc.py (#3840)

Improvements in conda recipe (#3791)

[TEST] Not assuming HOME in tvm/download.py (#3803)

* Not assuming HOME in tvm/download.py

* Trigger notification

[runtime] reduce set_input and set_input_zero_copy overhead (#3805)

[TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative (#3676)

* [TensorFlow] Fix limitation that depth_mult can only be 1 for DepthwiseConv2dNative

* Improve code readability

Support MKL on Windows (#3837)

[AutoTVM] Fix database APIs (#3821)

* [AutoTVM] Fix database APIs

* Refactor the byte conversion

[Relay][Keras] Dot (#3668)

* [Relay][Keras] Dot

* fix reshape

* fix comments

[Bugfix][Keras] axis of softmax (#3834)

[VTA] Parameterization and bug fix in TensorLoad module (#3841)

update docs for installation for CUDA (#3832)

Fix inconsistent python/cpp API behavior for if_then_else, power (#3829)

* fix inconsistent python/cpp APIs for if_then_else

* fix error message

* fix power consistency

* fix

* fix bug

* add test

[VTA][TSIM] Introduce Virtual Memory for TSIM Driver (#3686)

* initial virtual memory;

* initial integration;

* include the header file in cmake;

* implement allocation with virtual to logical address mapping;

* virtual memory for tsim_driver;

* implement the missing memory release function;

* readability improvement;

* readability improvement;

* address review comments;

* improved robustness in virtual memory allocation;

* remove VTA_TSIM_USE_VIRTUAL_MEMORY macro and use virtual memory for tsim by default;

* link tvm against vta library;

* merge with master

* build virtual memory system without linking tvm against vta;

* minor change;

* reuse VTA_PAGE_BYTES;

* using DRAM class from sim_driver as VirtualMemoryManager;

* satisfy linter;

* add comments in code;

* undo changes to Makefile

* undo changes to Makefile

* retrigger ci;

* retrigger ci;

* directly call into VirtualMemoryManager::Global()

Fix code comment of operators (#3830)

Fixed repo change for llvm-9 to resolve missing dependency issue when building images with llvm enabled (#3826)

Update hybrid_script.rst (#3799)

[Legalize][QNN] Pass out_types to Legalize. Update QNN requantize to read from out_types. (#3782)

[CODE] Halide attributions (#3824)

[Relay] Fix typo in parser (#3785)

[TVM] Fix warnings (#3817)

transform.h:118:3: warning: 'const' type qualifier on return type has no
effect
attrs.h:68:3: note: expanded from macro 'TVM_DECLARE_ATTRS'
node.h:244:3: note: expanded from macro 'TVM_DECLARE_NODE_TYPE_INFO'

transform.h:95:3: warning: extra ';' after member function definition
attrs.h:68:62: note: expanded from macro 'TVM_DECLARE_ATTRS'

[TOPI][Relay][TensorFlow] Add OneHot operator (#3781)

* Add one-hot to Relay

* topi implementation

* Working

* add topi test

* Add TF test

* Fix check

* fix linting issues

* fix documentation

* Fix documentation

* Add support for on_value, off_value, axis, dtype

* Add full support for axis

* Fix compute and update test_forward

* Move on_value and off_value to inputs

* Add topi test

* Update tests

* Update docs

* Fix style

* re-enable tests

* Add one_hot to mxnet converter

Changed topi cc resize to python implementation with new features. (#3788)

[TOPI] Use cblas for dense and batch_matmul when "cblas" is in the target libraries (#3787)

* Support cblas library in dense

* start to add support for generic batch_matmul compute

* Add x86 override for batch_matmul

* Fix linting

* reset file

* Fix typos

* dummy change to re-trigger CI

[Relay][VM]VM Profiler (#3727)

* [Relay][VM]VM debugger

* Report mean/min/max for op duration

* Typos

* Lint

* Lint

* Lint

* Support build debug VM in CMake

* Lint

* Enable VM debug in unit test

* Disable debug vm test until new docker image is built

* Add device sync code

* Fix qnn unit test

* Disable vm debug by default

* Rename files

* Rename classes

* Fix comment

* Fix comment

add gfx906 bc (#3808)

[dep] psutil (#3780)

[CI] Temporary disable rust test (#3809)

[CI] Solve occasional CI issue when pad value is all 0 (#3801)

[Relay][Frontend][TFLite] transpose implementation for tflite.py (#3705)

* transpose implementation for tflite.py

* add TRANSPOSE to convert_map

* Fix Unexpected keyword argument 'axis' in function call

* add test for transpose oprator

* Add the parameter 'axes' handling

* add test for transpose oprator

* solve conflict within CONTRIBUTORS.md

* Improve the if condition for empty tuple

* Add one unit test to cover empty tuple

* solve conflict within CONTRIBUTORS.md

Fixed onnx test failures when run on a cpu backend (#3764)

* Fixed onnx test failures when run on a cpu backend

* Updated check_torch_conversion function to include output comparison

[CoreML] Solve CoreML frontend issue of image scaler and padding so that Mobilenet mlmodel can work correctly. (#3800)

[TOPI, CUDA] Improve conv2d_transpose schedule template (#3796)

[VTA][TSIM] parallel TSIM hardware compilation with macOS and debug support (#3797)

* [VTA][TSIM] parallel hardware compilation with macOS and debug support

* simplify

[Community] Hao Lu -> Committer (#3789)

Fix ArgBinder assert order (#3794)

[BUGFIX] Fix for NoneType Target (#3792)

[Relay][Quantization] Fix out-of-date realize (#3790)

QNN quantize and dequantize operators. (#3745)

* QNN quantize and dequantize operators.

* addressing review comments.

* addressing review comments.

* Adding new line at the end of the file.

* Adhering to styling guidelines.

* Adding name to contributors.

* Fixing lint issue.

* Fixing file name.

* Removing unnecessary code.

[Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend (#3760)

* [Relay][Frontend][ONNX] Add Sign and Equal operators to ONNX frontend

* Dummy change to retrigger integration test

[QUANTIZE] Refactor quantization codebase and fix model accuracy (#3543)

* Refactor.

* update

* update

* update

* update

* update

* update

[QNN] InferType changes that missed CI. (#3779)

[QNN] Concatenate operator (#3730)

[Relay][Legalize][ARM_CPU] Handling NHWC layout for arm_cpu. (#3754)

[VTA][Chisel] scale dram base address in hardware instead of runtime (#3772)

* [VTA][Chisel] scale dram base address in hardware instead of runtime

* remove trailing spaces

fix dense tuning (#3768)

fix (#3769)