[CPP] Refactor remove tvm/tvm.h (#3523)

[Relay][Testing] Relay-to-Python compilation (#3156)

* First pass at Relay-to-Python converter testing utility

* Indicate astor as a dependency

* Add astor dep to host as well

* Typos and small bugs

* Handle ADTs and matching in Python conversion

* Remove any dependency on ast.parse

* Eliminate unnecessary type var field in Python version of ConstructorValue (already gone on C++ side)

* Update constructor value, fix syntax errors

* Don't forget keywords arg on Call nodes

* Fix some incorrect calls to ast nodes

* Fix more calls, a little more cleaning up

* Missing cases in attr conversion

* Lower op calls instead of running them through interpreter, as in @MarisaKirisame's AoT compiler

* We do still need the module

* Remove changes to op attrs: Will PR separately

* Smoke test and corrections

* More tests and fixes

* Ensure imports are properly global in generated Python code

* Add unit tests for refs

* Add unit test for tuple indexing

* Add unit test for if expression

* Remove astor dependency

* Remove astor from meta.yaml too

* Fix if test and add basic local function test

* Add global function test, refactor earlier tests

* Correct 'clause' field in ADT so Python and C++ field names match

* More fixes and tests for matching and constructors

* Dramatically simplify matching: no need for a thunk

* Improve ref writing test

* Ensure local recursion works

* cleanup

* Add test for global recursion

* Add test for higher-order calls

* Get ops working, add basic tests

* Remove accidentally duplicated test

* More docstrings to appease pylint

* Forgot to fix a test using constructor values

* Reduce optimization level in fusion and fix tuple input to operators

* Test op with tuple output, fix tuple output code

* Add unit test for batch norm

* Add a couple more tricky test cases

* Correct nat constructor to drop unnecessary field

* Fix the op attrs file (accidentally reduced it)

* Address review comments

* Adapt to new ConstructorValue representation (no more runtime dep on module)

* Use pass manager and updated interfaces. Extend module.from_expr to accommodate necessary demands

* Use sequential return value

* Lift out nested conditionals

* Replace triple single quotes with triple double quotes

* Use main variable instead of entry_func

[Relay][VM]Compiling pattern matching (#3470)

* [Relay][VM]Compiling pattern matching

* Fix lint

* Remove debug code

* Move TreeNode definition

* merge ifi and selecti, todo: remove them

* fix lint

* remove ifi and selecti

* rename GetTagi to GetTag

* fix dltype

* fix more dltype

* Generalize If and select, and rename to Ifi and Selecti

* Fix lint

* Rename Ifi to If

* Change register default to match value

* Remove bad specialization for Move

* Stop use Select

* Remove Select

* TreeNode refactor

* Change entry_func name

* Remove Cmp due to rebase issue

[Relay] Clip gradient: grad * (select(x < min || max < x, 0, 1)) (#3509)

Relaxing convolution infer checks. (#3511)

- Weight dtype can be different than idtype. So, using the weight tensor to set
the dtype of weight.
- For conv2d NCHWc operator, the weight can be of any dimension. For int8
computation on Intel, it can be 7D. Relaxing the weight type checking.

[Vulkan] Added conversion from bool to float. (#3513)

* Added bool to float conversion support to spirv ir builder.

* Added unittest for vulkan bool conversion.

* Typo fix.

[Relay] Roundtrip part of pretty printer and parser (#3460)

* init

fix rebase

lint

fix cmake

try again

fix ci

* add gitignore

* fix format

* do not include .interp and .tokens

Passing dilation argument to account for API change. (#3510)

[Relay][Transform] Support Dumping IR to help debugging (#3493)

* [Relay][Transform] Support Dumping IR to help debugging

* debugprint->printir

[VTA] TSIM improvements and fixes (#3505)

* add tsim init function

* add sim device

* test wait and resume

* launch simulation thread from DPILoader

* add VTASimDPI module to handle all simulation related stuff

* test tsim init

* move exit to simdpi module

* update vta driver

* add chisel DPI module

* get back simshell

* update vta to support dpi sim

* update unittests

* add tsim to integration-conv2d test

* run resnet on tsim

* remove max-cycles

* match tsim counters with sim counters

* use env in simulator to switch between sim and tsim

* update unittest

* rollback conv2d test

* update resnet

* add stats to matrix multiply

* add stats

* print stats after assert

* update other tests

* add stats to gemm

* add return and remove unused libs

* add missing arg

* return lib

* update comments for linter

* add more comments to VTASimDPI module

* remove trailing spaces

* remove trailing spaces

[ARITH] More recursive rewrite rule, cleanup simplify tests (#3502)

[ARITH] Bugfix div subtract rewrite rule (#3504)

[TOPI] add basic scheduling for conv2d_transpose on x86 (#3491)

* initialize cond 2d transpose scheduling on x86

* refine the scheduler a bit

* fix for lint

* address review comments; remove duplicate code

* fix lint

[ARITH] Refactor: Remove un-necessary usage of ComputeExpr (#3503)

Android RPC README improvements (#3500)

- Fix APK path
- Add ADB install/uninstall instructions

[relay][frontend] Return Module from get_workload (#3483)

* [relay][frontend] Return Module from get_workload

* pass entry_func to autotvm

* disable tune

* add property to module

* mod.entry_func to main

* .main -> mod["main"]

* fix

Android demo: Docker improvements (#3499)

- Install OpenCL headers
- Set ANDROID_HOME environment variable

[Relay][Module] Make tags for ADT constructors and ConstructorValues more robust (#3369)

* Use hash of ADT name and constructor idx to generate tag, add reverse mapping to module and use where appropriate

* Lint and build fixes

* Add round-tripping test for getting constructors by tag

* Use int64_t everywhere for tags

* Add additional identity check

* Bring out _arg_to_ast again

* Use 8-bit hash of GTV name as MSB of tag, index as LSB for more readable tags

* Use int32 instead of int64 for tag

[VTA][Hotfix] Avoiding error when environment variable is not set (#3497)

* avoid error when env var is not set

* extra content

Tutorial: Use Python 3 (#3498)

Docker: Install Python packages 'requests' and 'Pillow' (#3495)

Needed for:

- https://github.com/dmlc/tvm/blob/287078c33db85d4f312d8d2457a064442d9d18c3/tutorials/frontend/deploy_model_on_android.py#L30
- https://github.com/dmlc/tvm/blob/287078c33db85d4f312d8d2457a064442d9d18c3/tutorials/frontend/deploy_model_on_android.py#L37
- https://github.com/dmlc/tvm/blob/287078c33db85d4f312d8d2457a064442d9d18c3/python/tvm/contrib/download.py#L58

[Relay] Fix PE (#3482)

Pre-allocate buffer for x86 roi_align (#3475)

* Pre-allocate buffer for x86 roi_align

* Fix typo

[Relay] use transform instead of ir_pass for CPS (#3485)

producing simulation statistics instead of time to get useful information out of simulation runs (#3481)

[Relay] Continuation Passing Style (#3456)

* save

add

me find type checker problem

save

save

lint

do

lint

reset ti

add some doc

add failed test case

add recursion for cps

add recursion for cps

fix pytest

lint

save

fix test error

lint

save

fix error

* fix rebase

* fix

* fix test

* lint

* lint

* restore rewriteannotationops

* do

Add dockerfiles for the conda package builds (#3344)

* First shot

* Add dockerfile for CPU too

* Finish the build infrastructure

* Remove extra file

* Comment out the Jenkinsfile section since it is not ready

* Add missing license headers

* Update to newer cudnn that anaconda packaged

* Bump the build numbers for the newer cudnn

* Bring back the toolchain option with a tweak for cuda

* Cache some large packages in the docker and update to llvm 7.0.0

* Merge all the python packages together

* First fix for the conda cuda builds (again)

* Use the tarball version of cudnn since tvm has trouble detecting the other one

* Use llvm 8.0 from the numba packages

* Also use llvm 8.0 for the cpu builds

* Don't use the anaconda compiler for OS X

* Enable Metal on OS X builds

* Make sure to detect undefined variables in scripts

* Fix build when not using cuda

Delete _ir_pass.pyi

Clean up pass.h (#3312)

[Codegen] Support broadcast op with symbolic shape (#3389)

* [Codegen] Support broadcast op with symbolic shape

* fix case where last dim = 1

* use enum; simplify stride calculation; improve doc

* fix lint

* improve py doc

[Runtime] Android argsort support (#3472)

* Add contrib sort functions to android rpc app.

* replaced tab with spaces oops.

[Relay] fix 'please use input parameter mod warning' triggered in build_module (#3452)

[RUNTIME] Only checks the custom data type if it is bigger than the specified range (#3471)

[ANALYSIS] Mac count deconv (#3469)

* add mac count for conv 2d transpose

* add the explanation of missing parameter in docstring

* typo

* fix pylint

Migrate simplifier to new infra. (#3368)

[Relay][Pass] Only allow Module -> Module for opts managed by pass infra (#3430)

* [Relay][Pass] Only allow Module -> Module for opts managed by pass infra

* revert gradient pass

[ARITH] Canonicalize comparison to move constant to one side (#3467)

[ARITH][SCHEDULE] Update schedule to use the new analyzer (#3466)

Update tflite wheel version to 1.13.1 (#3435)

[ARITH] CanonicalSimplifier, better folding, eliminate store. (#3464)

[ARITH] Improve min/max/div cases in RewriteSimplify (#3463)

[PASS] Use new infra for lower warp memory
[ARITH] EvalSet recursively evaluates set in case dom_map contains set that need to be relaxed.

Partition fix with rfactor, simplify and likely predicates. (#3444)

[Bugfix] Fix AutoTVM bug (#3462)

* fix autotvm

* fix bug when heap_items is empty

Update README.md

Migrate badge to new job (#3459)

[CI] Fix windows build, add azure pipeline (#3458)

[VTA][Relay] Relay Compilation + AutoTVM compatible operator libraries for VTA (#3135)

[Relay] Feature Detection (#3238)

* init

init

lint

rename

ci

fix

add

add some doc

save

add some test

add some test

lint

lint

lint

* fix build

[Relay] Fix ad for conditional expression (#3453)

* save

* fix

Nested rfactor fix, update predicates as well as source. (#3382)

* Nested rfactor fix, update predicates as well as source.

* Linter

* Syntax fix.

[RELAY] [OP] [MXNet Frontend] Add sequence_mask (#3437)

* Add sequence_mask

use exactly the same arguments as mxnet

fix

* fix lint

* fix lint

* add mxnet conversion + relay

* update

* update doc

* fix pylint

* fix doc

* address comment

* try to address comments

* try to enable shape check for valid_length

* fix

* try to fix

* fix bug

* try to fix

* address comment

* address comment

[Relay] Register abs gradient: grad * (select(x < 0, -1, 1)) (#3447)

fix deprecation warning (#3446)

Memory leak in the relay interpreter (#3448)

[Relay][Parser] simplify build script, remove python 2 support  (#3419)

* simplify build script, remove python 2 support

* remove py2 file

* update py3

[Relay] Fix reduce axis bug (#3422)

* fix relay reduce axis bug

* add tests for reduce bug

[Relay][Frontend] Fix tensorflow frontend lstm forget bias adding order (#3410)

GraphTuner supports relay.module as input (#3434)

Use print() function in both Python 2 and Python 3 (#3440)

Discovered via: __flake8 . --count --select=E9,F63,F72,F82 --show-source --statistics__

Legacy __print__ statements are syntax errors in Python 3 but __print()__ function works as expected in both Python 2 and Python 3.

[VTA][TSIM] Verilator compile report error for printf (#3438)

[Symptom]
after follow the tsim example readme, doing verilator install by 'sudo apt-get-install verilator'
Once enable 'debug' or manually add 'printf' logic in chisel module, verilator would report
following error.
'syntax error, unexpected INTEGER NUMBER, expecting IDENTIFIER'

[Fix]
upgrade verilator to 4.012, issue fixed.

[Solution]
Link README.md verilator install steps with verilator home website
install instruction.

Add mod supoort in relay.build (#3424)

Undefined name: Typo in variable name sotrage_order --> storage_order (#3439)

Discovered via: __flake8 . --count --select=E9,F63,F72,F82 --show-source --statistics__

Fix Windows build (#3429)

[AutoTVM] Fix a bug in simulated annealing (#3413)

* [AutoTVM] Fix a bug in simulated annealing

* Update sa_model_optimizer.py

[Relay] Add ResizeNearestNeighbor and CropAndResize in tf converter (#3393)

[VTA] Add VTA PYNQ metal_test bitstream program logic and fix compile issue. (#3400)

* [VTA] Add VTA PYNQ metal_test bitstream program logic and fix couple compile issue.

Issue:
VTAProgram not exist and cause compile error.
No logic to program the bitstream into FPGA.
metal test still use pynq 2.1 library which not support on latest
pynq 2.4.

Solution:
remove old VTAProgram.
when setting is pynq, program the bitstream during compile.
change DMA link library to libcma.

* Address review commends.

[Runtime] Allow for parameter sharing in GraphRuntime (#3384)

Summary:

In multi-threaded applications where we have multiple inferences on the
same model in parallel (consider e.g. a TTS system handling multiple
requests), it can be useful to share the parameters of a model amongst
these multiple instances. This improves the cache utilization behaviour
of the system, as multiple cores can use the same set of weights instead
of evicting the identical copies of weights in a shared cache.

As the underlying `NDArray` instances in `data_entry_` implement a
ref-counted based sharing system, this is a simple modification of the
`GraphRuntime::LoadParams` logic to instead copy parameters from an
existing GraphRuntime instance. This is a little ugly in that we need
both the pre-existing GraphRuntime instance, as well as the 'serialized'
params (since we need to know the set of names we should copy), but
without imposing additional assumptions (i.e. storing the set of param
names in GraphRuntime, and enforcing that shared param names are
identical to the parameters set in the preceding `LoadParams` call),
this seems unavoidable.

Test Plan:

Unit test added.

Fixing package path in tflite test (#3427)

fix (#3417)

Add Reduce operators to TFLite (#3421)

[Frontend][MxNet] Support bidirectional RNN layer (#3397)

* Support bidirectional RNN layer

* tweak

* tweak

Add nix to gitignore (#3418)

[QUANTIZE] Memorizing the quantize node mapping (#3233)

* [QUANTIZE] Support for clip operator

* [QUANTIZE] Memorizing the quantize node mapping.

* [QUANTIZE] Remove use_stop_fusion and skip_k_conv in qconfig

* update

* update

* update

* update

Fix global var in prelude (#3405)

Create closure object for GlobalVar (#3411)

Extend TensorComputeOp to allow scalar inputs (#2606). (#3300)

[VTA] [APPS] Update README on tsim example (#3409)

* update README

* fix typo

 [Community] @joshpoll -> Reviewer (#3412)

Add EtaExpand to transform API (#3406)

* Add EtaExpand to transform API

* Add test case

to fix issue Target llvm is not enabled[followup] (#3404)

[Relay] Fix name conflict in PartialEval (#3402)

return mod from frontend for autotvm (#3401)

[VTA] Fix VTA function Vivado Compile Error. (#3375)

Issue:
when using vivado compile vta.cc with top function 'vta', vivado
report deadlock error like '...with default size is used in a non -dataflow
region, which may result in deadlock Please consider to resize the
stream using the directive ‘set_directive_stream’ or the ‘HL S stream’
pragma.'

Solution:
give the queue a default size as 8.

[Bugfix] Missing headers (#3392)

[TEST][TENSORFLOW] clean up code (#3342)

[CI] Update ci-gpu to v0.52 (#3374)

* [CI] Update ci-gpu to v0.52

* update nodejs

Add RESIZE operators to realy TFLite frontend (#3370)

[ARITH] Bugfix min/max const canonicalize rule (#3386)

hotfix for onnx (#3387)

Revert "[Relay][Frontend][ONNX] Fix reshape precompute, and type error (#3230)" (#3385)

This reverts commit df6957a5ea49806b3073bbb81e339ae379cbbb1c.

TFLite: Add fused_activation_function for ADD, SUB, MUL, DIV (#3372)

[Relay][Frontend][ONNX] Fix reshape precompute, and type error (#3230)

[nnvm] fix nnvm compiler build module error (#3378)

[Relay][Pass] CanonicalizeCast (#3280)

[relay][frontend] Return module from frontend parsers (#3353)

[RELAY][PASS] Enable decorating python class as Pass (#3364)

add favicon in rtd (#3379)

save (#3033)

save

save

save

upstream

lint

remove bad changes

fix build

save

save

please the ci god

Update src/relay/pass/partial_eval.cc

Co-Authored-By: Wei Chen <ipondering.weic@gmail.com>
save

fix test

ci is ANGRY

fix rebase problem

fix rebase

add test

save

save

comment

Fix typo in word explicitly (#3376)

[Relay][VM] Add AllocTensor instruction and better instruction printer (#3306)

* Update vm print & add AllocTensor instruction

* patch

* fix invoke packed

* update cmake

* tweak move

* update invoke_closure

* lint

* add doc

* tweak