Add rocblas_sgemm_strided_batched impl. (#6579)

[COMMUNITY] vegaluisjose -> Committer (#6582)

[tvmc] unify all logs on a single logger 'TVMC' (#6577)

[Doc] Update release document (#6573)

Support mxnet dot and LogisticRegressionOutput (#6542)

[tvmc] Fix command line argument variable name (#6574)

* This is a variable that we changed names during code review,
   and it was incorrectly left behind with the previous name.

Fix android runtime error (#6575)

codes for USE_RANDOM in tvm4j was missing.

Fix missing te in the code example (#6569)

- caused `AttributeError: module ‘tvm’ has no attribute ‘thread_axis’
  error
- Fix baesd on https://discuss.tvm.apache.org/t/attributeerror-module-tvm-has-no-attribute-thread-axis/6606

[TEST] Temporary disable test_mutate_parallel (#6572)

* [TEST] Temporary disable test_mutate_parallel

* Use skip

[AutoScheduler] Improve the rule of mutating parallel granularity (#6568)

* fix mutate parallel

* fix comments

* fix lint

* fix tutorials

* update

* fix tests

* address comments

[BYODT] fix CMAKE flag name + update documentation (#6567)

* documentation fixes + better name

* fix up comments

[APP] Fix misprint in demo.cc during initializing of picture tensor data (#6566)

Bring Your Own Datatypes (#5812)

* Add ChangeDatatype pass and unittest

* [WIP] Jared's work on Fri

This was work that Jared did on my computer, trying to get Inception v3 running.

* Fix simplify inference to work over different data types.

* Formatting

* Copy setup code from other test file

* Logging in Relay

* Remove duplicate TVM_DLL

* Add Sub, Mul, Div, Max to bfloat lib

* Fix previous broken rebased commit

* Remove line

* Add LowerCustomDatatypes to build passes

* Upcast ints to custom datatypes too, as well as to floats

* Add and use convert_ndarray

* Lower Call

* Relay: create constant scalars of custom dtypes

We use the same method we use in TVM: store the value in a double.

* Custom datatype formatting in Relay

* Update unittests

* Add simpler example that's not working yet

* Add Python unittests to Makefile

* Fix bug

* Fix function name in GetPackedFunc call

* convert_ndarray makes its own executor

* Add simple test case

* Move setup() calls

* Use convert_ndarray

* Change import to make it more specific

* Fix another Registry::Get call

* Allow users to register minimum functions for custom datatypes

This commit allows users to register global functions named
`tvm.datatype.min.<type name>` which take the number of bits in the custom type
and return the corresponding minimum value (as a double).

A similar commit will need to be created for max, whenever that ends up being
needed!

* Remove check for float

* Add test

* Fix inception test

* Add MobileNet

* Lower custom datatypes before intrinsics

* Add exp and sqrt bfloat functions

* [buggy commit] Lower intrinsics like sqrt, exp

This commit has bugs in it, I'm fairly certain.

* Formatting

* Fix bug

* Add lowering for new ops in test

* Add int to bfloat

* Remove print

* Add all tests

* Correct image size

* Add TODO

* Add "notbfloat" type

This type is for testing purposes. It just stores a float in a uint32. It was
used to confirm the fact that my bfloat "implementation" is very numerically
unstable and was causing issues when running the model.

* Convert arguments

Not sure how necessary this actually is.

* Rewrite custom datatype constants in Relay

* Add test_ops

* Print constants in Relay

* Use topi.testing

* Test conv2d

* Add test_model

* Comment out model tests

* Register notbfloat

This could be unregistered at some point later

* Add commented code

Remove later

* Add posit tests

* test_ops_same_function

* [temporary] move incomplete commit to macbook

* Add more to tests

* Formatting

* Uncomment add

* Remove bad tests

* Change comments

* Change function name and docstring

* Change main function

* Restructure tests

* Fix visibility of posit functions

* YAPF

* Switching keywords around to resolve build errors on some systems

* Improve test by running smaller mobilenet

* Add test_cast

* Change datatype name; add simple test

* Rename to posit32

* Merge 3 posit types into one file

* Add a nop type

* Remove bfloat

* Refactor test comments

* Refactor conv2d test

* Add optional tolerance arguments

* Add posit8 and posit16

* Add comment about posit8

* Whoops -- actually add noptype to CMakeLists

* Add rtol, atol to run_workload

* Add noptype to tests

* Run noptype over other models, too

* Pass correct arguments to calls

* Fix line length errors

* Raise tolerances (again) to avoid flaky test

* fix style

* add test for tanh, log, sigmoid

* Remove references to bfloat, notbfloat

* Change comments

* Remove old test file

* fix min func

* refactoring unit test file

* use posits es2

* cleanup

* comment

* coment if_then_else

* support different bit widths

* use random seed to create stable tests

* update documentation

* removed nop-type and code consistency

* add batchnorm test

* rebase and update

* fix tests and format

* pylint

* change order of include

* include order

* fix style

* remove posit c linkage

* update universal

* fix style

* fix test

* fix overflow error with minfunc and posits

* style

* use change_dtype to convert params

* update universal

* fix fatal error

* fix constant repr

* minor update to posites2

* update universal

* fix rst

* fix invalid import and sqrt

* update universal

* comments

* comments and expand testing

* increase atol/rtol for custom[posites2]32

* Re-add newline

* Remove comment

* Remove opt level and comment

* Change docstring

* Add TODO

* Add file header and newline

* Update docstring

* Update file docstring

* Update docstrings

* Delete todos

* create_min_lower_func

* add better debugging message

* docs

* add BYODT tutorial

* add todo

* Reformat some of tutorial to RST, plus code fixes

* tutorial notebook runs now

* fix hyperlink

* rebase

* add to tutorial

* fix mobilenet model

* add skip tag

* black lint

* add compiler flag and add dummy float

* myfloat and posites2 test

* remove universal

* lint

* lint

* add setup

* build with USE_POSIT for CI/CD

* fix posit cmake

* add cd /

* undo docker changes

* change tutorial to use myfloat

* move files

* lint

* fix

* remove filter

* fix lint

* fix suggestions

Co-authored-by: Jared Roesch <roeschinc@gmail.com>
Co-authored-by: Andrew Liu <andrewlliu@gmail.com>

Rename tvm.hybrid.script to tvm.script. (#6522)

Make CMakefile/config.cmake/install_tvm consistent (#6562)

Zhi's key for ASF release (#6554)

Add proper cmake PATHS when multiple NAMES. (#6558)

[Ansor][FLAKY] Bug fix for compute at mutation error (#6557)

Make missing desired layout non-fatal (#6553)

[TIR] Fix rewrite_simplify tir::builtin::shift_left (#6555)

Feat(frontend-pytorch): Add input types argument and Support cast to float16. (#6546)

1. Add input types argument for converting TorchScript file.
2. Support casting float32 to float16 when converting to operation.

[COMMUNITY] Add Ziheng's key for ASF release (#6552)

Generalize the use of booleans to support all cmake boolean values. (#6515)

* Generalize the use of booleans to support all cmake boolean valuues.

* Update to use a more simple method to detect if variable is a false value

* Fix some errors

* Debug CI issue

* Fix logic error in cmake changes

* Use new IS_TRUE_PATTERN to make intent clear

[Relay/TOPI] Added dilation_value attribute to dilate operator. (#6550)

* Added dilation_value attribute to dilate operator of Relay/TOPI.
  (Enables custom value for dilation, instead of always 0)
* Added tests for dilation_value of dilate operator in Relay and TOPI.

[Frontend][Onnx] Added broadcasting to prelu alpha. (#6549)

update webgpu api (#6547)

[Rust] Allow convert Context to ArgValue (#6544)

Add alternate cublaslt library name. CUDA 11.0 uses cublasLt. (#6541)

[Relay/TOPI] Added 'offsets' and 'alignment' attributes to MATRIX_SET_DIAG. (#6429)

* [Relay/TOPI] Added 'offsets' and 'alignment' attributes to MATRIX_SET_DIAG.

* Added support for 'offsets' and 'alignment' attributes of MATRIX_SET_DIAG.
  (Similar to MATRIX_SET_DIAG V3 of TF)
* Added tests for 'offsets' and 'alignment' attributes of MATRIX_SET_DIAG.

* Changes by black.

* * Added offset check in Relay.
* Minor changes.

* Added more tests and some minor documentation changes.

tvmc: solve a linting error on onnx command line driver frontend (#6536)

* Updates onnx load function from "load" (a compatibility attribute)
   to "load_model" (the actual function)

 * Add a pylint command, that we don't see currently on upstream CI,
   but it reproduces when linting it locally.

Remove unused pylint 1.9.4 from docker installation script (#6538)

[Relay] Show yolo detection result in text. (#6367)

* [Relay] Show yolo detection result in text.

Issue:
Current yolo detection only provide a image drawing solution
to output detection result, but for console user, such result
would not available for a view.

Solution:
Here we add a text show function to show detection result in
text format for testing in console scenario.

* rebase upstream and merge code change.

* address review comments.

[BYOC][ACL] Add maximum support for float32 (#6506)

* ACL integration: add maximum support for float32.

* Added the code generation flow in arm_compute_lib.py
* Added the runtime calls in acl_runtime.cc

Change-Id: I69c5522f05a46c1dd235da5d57fe499134de0425

* Add maximum to the list of supported functions

Change-Id: Ia49087756be4c3ac92a3dc76fe03fb00de468f8d

[Ansor] Parallel the InitPopulation (#6529)

[FIX] fix the python script for building resnet (#6526) (#6527)

[TUTORIAL] Fix Some Failed Tutorials of The Issue #6453 (#6534)

Add the SYSTEM keyword to all cmake include_directories commands for 3rd party or external headers. Warning flags should only be applied to code within the tvm repository. (#6531)

[Doc][Fix] Fix a typo in hybrid script tutorial. (#6525)

Remove settings about SGX in config.cmake (#6530)

removed settings about SGX since SGX is removed from TVM core

[DOCS] Change some tutorial text (#6514)

fix libtvm build dependencies when USE_MICRO is ON. (#6524)

* previously, building from scratch would fail with Unix Makefiles
   due to cmake limitation

[Torch] Clean up usage of try ... infer_value() ... except (#6504)

* clean up infer value usage

* try silence pylint

* remove unused variable

* make on_failuare optional

* make on_success optional True

Co-authored-by: masa <masa@pop-os.localdomain>

[TOPI] Group conv2d NHWC op implementation (#6510)

Enable more warnings when compiling with clang 10.0 or greater (#6456)

[AutoScheduler] Improve hyperlinks in the tutorial (#6521)

* improve auto-scheduler tutorials

* improve tutorials

* fix lint

[LINT] Use fmt off to disable problematic black fmt (#6519)

QnnBinaryLayout bugfix + unit test (#6513)

An attempt to fix an issue which appeared when ConverLayout pass
runs on quantized binary operations like qnn.add:
def before():
    x = relay.var("x", shape=(2, 2))
    y = relay.var("y", shape=(1, 2))
    return relay.Function(
        [x, y],
        relay.qnn.op.add(
            x,
            y,
            lhs_scale=relay.const(0.0156863, "float32"),
            lhs_zero_point=relay.const(127, "int32"),
            rhs_scale=relay.const(0.0117647, "float32"),
            rhs_zero_point=relay.const(85, "int32"),
            output_scale=relay.const(0.0235294, "float32"),
            output_zero_point=relay.const(128, "int32"),
        ),
    )

The issue manifested itself as
  [bt] (2) ./src/tvm/build/libtvm.so(tvm::relay::qnn::QnnBinaryBroadcastLayout(tvm::Attrs const&, tvm::runtime::Array<tvm::tir::Layout, void> const&, tvm::runtime::Array<tvm::tir::Layout, void> const&, tvm::runtime::Array<tvm::Type, void> const&)+0xa9) [0x7fadc080d949]
  [bt] (1) ./src/tvm/build/libtvm.so(tvm::runtime::Array<tvm::tir::Layout, void>::operator[](long) const+0xb6) [0x7fadc0382996]
  [bt] (0) ./src/tvm/build/libtvm.so(+0xb50c12) [0x7fadc037cc12]
  File "/workspace/include/tvm/runtime/container.h", line 681
IndexError: Check failed: 0 <= i && i < p->size_: indexing 1 on an array of size 1

[CI] Cancel previous build if new commit has been pushed to a PR (#6518)

[TOPI] Fix declaration_conv2d_transpose_impl (#6428)

Update CI badge location (#6517)

[ANSOR] Auto-scheduler tutorial for GPU and necessary refactor/fix (#6512)

* add gpu tutorial

* refactor mutation in evolutionary search

* update

* update double matmul

* fix lint

* add double matmul test

* fix mutate compute location

* fix sketch search policy

* fix lint

* update

* address comments

* fix PruneInvalidStates

[tvmc] command line driver 'compile' (part 2/4) (#6302)

* [tvmc] command line driver 'compile' (part 2/4)

 * Add 'compile' subcommand into tvmc (tvm.driver.tvmc)
 * Add frontends: Keras, ONNX, TensorFlow, tflite, PyTorch
 * Add tests for the 'compile' subcommand
 * Enable command line driver tests as part of integration tests
 * Skip tests if the cross-compilation toolchain is not installed

Co-authored-by: Marcus Shawcroft <marcus.shawcroft@arm.com>
Co-authored-by: Matthew Barrett <Matthew.Barrett@arm.com>
Co-authored-by: Dmitriy Smirnov <dmitriy.smirnov@arm.com>
Co-authored-by: Luke Hutton <luke.hutton@arm.com>
Co-authored-by: Giuseppe Rossini <giuseppe.rossini@arm.com>
Co-authored-by: Matthew Barrett <matthew.barrett@arm.com>
Co-authored-by: Elen Kalda <elen.kalda@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
Co-authored-by: Jeremy Johnson <jeremy.johnson@arm.com>
Co-authored-by: Ina Dobreva <Ina.Dobreva@arm.com>
* tvmc: adjust TODOs

* tvmc: fix linting errors

* Address code-review comments

* Adjust pytest fixture to not break when there is no tensorflow

* Fix frontend tests, to cope with different frameworks in different images

* Apply suggestions from code review

Co-authored-by: Cody Yu <comaniac0422@gmail.com>
* Fix lint and code-review issues

* Re-format with black.

* tvmc: Move dependencies to extras_requires

Co-authored-by: Marcus Shawcroft <marcus.shawcroft@arm.com>
Co-authored-by: Matthew Barrett <Matthew.Barrett@arm.com>
Co-authored-by: Dmitriy Smirnov <dmitriy.smirnov@arm.com>
Co-authored-by: Luke Hutton <luke.hutton@arm.com>
Co-authored-by: Giuseppe Rossini <giuseppe.rossini@arm.com>
Co-authored-by: Elen Kalda <elen.kalda@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
Co-authored-by: Jeremy Johnson <jeremy.johnson@arm.com>
Co-authored-by: Ina Dobreva <Ina.Dobreva@arm.com>
Co-authored-by: Cody Yu <comaniac0422@gmail.com>

[RELAY][OP] roi_align operator alter layout (#6443)

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

* [RELAY][OP] roi_align operator alter layout

Co-authored-by: honghua.cao <honghua.cao@streamcomputing.com>

Add beagleboard ai, thunderx and stm32mp1 to the arm_cpu target. (#6501)

* Add beagleboard ai, thunderx and stm32mp1 to the arm_cpu target.

Signed-off-by: Tom Gall <tom.gall@linaro.org>
* updates from black on target.py

Signed-off-by: Tom Gall <tom.gall@linaro.org>

[Relay]Allow dynamic batch for arm conv2d (#6509)

* Allow dynamic batch for arm conv2d

* Add TODO

Add several op mapping in PyTorch frontend (#6472)

* Add copy_ and clamp_ in PyTorch frontend

* add true_divide in PyTorch frontend

* more test cases for copy_

* fix format

* remove copy_

* fix format

* skip true_divide for torch < 1.5

[COMMUNITY] hypercubestart -> Reviewer (#6511)

improve doc for relay.nn.dense (#6508)

[RPC] Lazily import micro when starting an RPC server (#6505)

* [RPC] Lazily import micro when starting an RPC server

Since #6334 the RPC server cannot be started unless USE_MICRO is enabled. I've tracked this down to an import in `python/tvn/exec/rpc_server.py`: `from tvm import micro` in the top level list of imports. This will mean that we try to import micro when it's not been built. Fix this by lazily importing micro when initializing an rpc server with micro enabled.

Change-Id: I8f22d81e215cfe4ac0662b0a99bdf02a3e91f90c

* fix lint

Change-Id: I8b78b678374bc82b3b66a7b3595ed4f1684e7d90

[TIR][Hybrid] Hybrid Script Improvement (#6507)

* [TIR][Hybrid] update

* [TIR][Hybrid] python formatting

Switch CRC-CCITT libraries (#6499)

Add PT OD tutorial (#6500)

fix a typo in topi key (#6502)

[Frontend][Pytorch] Improve Pytorch frontend for object detection models (#6449)

* Improve Pytorch Frontend

* Add tests

* Fix pylint

* Improve data cast

* Use int64 for slice axis

* Fix lint

* fix roi_align(..., aligned=True)

* Minor fix

* Add e2e test

* Add asf header

* Minor change

* Use dynamic topk

* Improve test

* Rollback topk

* py format

* remove print

* More improve

* Fix test

* Improve addmm

* Fix test

* Fix format

* Fix format

* Fix test scatter

Co-authored-by: q.yao <streetyao@live.com>

[TUTORIAL][ANSOR] Using the template-free auto-scheduler on CPU (#6488)

* add tutorial

* add tutorial

* update

* Apply suggestions from code review

Co-authored-by: Cody Yu <comaniac0422@gmail.com>
* address comments

* fix bugs

* add the exmple for resuming the search

* fix lint

Co-authored-by: Cody Yu <comaniac0422@gmail.com>

extending FindVulkan to build RPC server on Windows correctly (#6498)

Co-authored-by: Mei Ye <meiandmimi@yahoo.com>
Co-authored-by: Mei Ye <meiandmimi@yahoo.com>

[BUILD] enhance build script for optional vta dep (#6497)

black format master (#6494)

bumping vta version (#6495)

Fix missing import in bifrost schedule (#6479)

[PY] GraphRuntime: Update the tutorials to the module-based interface (#6482)

* [PY] GraphRuntime: Update the tutorials to the module-based interface.

Also added document about the encouraged usage.
In particular, we encourage the following usage.

lib = relay.build(...)
gmod = graph_runtime.GraphModule(lib["default"](ctx))

I have changed most of the tutorials and apps.
Some follow up PRs are needed to update some of the tests code.

* Fix VTA tutorials

[Formatting] Fix python formatting issue (#6491)

After #6442 was merged, black started complaining about formatting of test_pass_convert_op_layout.py. Format here.

Change-Id: I04346fa06e22b722b619488b895b47c6943e3fd9

[BUG][ConvertLayout] Fix qnn.conv2d layout conversion too many values to unpack (#6442)

This patch follows a previous bugfix in #6419. I made a very simple oversight for qnn.conv2d in that tinfos also contains qnn parameters. Therefore, we need to extract data_info and weight_info differently.

Change-Id: Ib0ad01f427543371380d0bb604a77b5e0ec1103d

[FIX] Save tensor size with alignment (#6487)

[Minor] Fix typos in Ansor (#6425)

[BYOC][ETHOSN] Introduce further operator support (#6355)

* [BYOC][ETHOSN] Introduce further operator support

This PR introduces support for the following operators:
 - Quantized Fully Connected
 - Quantized Addition
 - Depth-to-space
 - Max/Avg Pool 2D
 - Quantized Relu (Clip)
 - Reshape
 - Quantized Sigmoid

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>
* Skip tf imports if not available

Change-Id: I11bcf4a78014fa63e7b8e3b0cb00eecfd6cb7760

* ethos -> ethosn

Change-Id: I1fb1a11d0765f6d69f04c24b9c24e08665b8af6a

* Reduce random testing in test_addition

Change-Id: Id06063a0a0cf5f01356df23dc5d4bbbcb47cfa99

* Reduce random testing in test fullyconnected

Change-Id: I330408dfabc4bd804373f100581ce909ff724052

* Fix dumb mistake with rename

Change-Id: I2c5007be485b323116a0e8bab0f9106ea5ec834b

* Added comments to update the hashes in network tests when necessary

Change-Id: I13828c918c959daa492b9ed942a882c86d6690d1

* Fix github name

Change-Id: Idaa70ab9c2ec8db2828d51d15e7c23f28670ec82

* Use black formatting

Change-Id: I538171bd547a16395bef155a1dad28e8b3e347f2

Co-authored-by: Leo Blonk <Leo.Blonk@arm.com>
Co-authored-by: Tristan O'Connor <tristan.oconnor@arm.com>
Co-authored-by: Ramana Radhakrishnan <ramana.radhakrishnan@arm.com>

add git diff filter (#6484)

µTVM RPC server and Part 1 of AutoTVM compilation infrastructure (#6334)

[DOC] Fix Some Broken Web Links (#6475)

[Relay]Some backend improvements for PT OD models (#6464)

* Some backend improve for PT od models

* Fix clang

* Fix pylint

* Enable gpu tests

* Minor fix

[Formatting] Fix black script for Python formatting (#6469)

add aten::pixel_shuffle implementation (#6328) (#6468)

[RFC][Formatting] Add scripts for applying Black to the Python code. (#6437)

[ONNX] Update Slice op conversion to take strides into account, clean up tests (#6467)

Co-authored-by: masa <masa@pop-os.localdomain>

[CMAKE] Improve FindLLVM to handle llvm-prefix with space. (#6466)

* [CMAKE] Improve FindLLVM to handle llvm-prefix with space.

Useful for windows settings where llvm can sits in Program Files.
Also updated the windows compiler to use clang.

* Additional updates

[runtime] fix: remove anoymous namespace and rename BooleanToTranspose (#6465)

[RPC] Update RPC module to enable remote linking. (#6462)

Remote linking is useful when the linker is not available
on the host environment.

[COMMUNITY] lhutton1 -> Reviewer (#6461)

[COMMUNITY] comaniac -> Committer (#6463)

[ONNX] Add support for GatherElements conversion (#6446)

* support onnx GatherElements

* remove print

* run black

Co-authored-by: masa <masa@pop-os.localdomain>

[APPS] Add How to deploy graph runtime example under new module factory (#6459)

[FIX,TESTING] Add tvm.testing to the docs (#6458)

upstream (#6436)

[WINDOWS][MSVC] Fix MSVC warnings (#6450)

* [WINDOWS][MSVC] Fix MSVC warnings

This PR fixes various warnings bought by MSVC.

TODO: deprecate `__tvm_main__` symbol and update
testcase so windows works as normal.

* Fix unicode problem in data_layout

[topi, x86] for 1d loop, make outer loop parallel after split (#6455)

Co-authored-by: masa <masa@pop-os.localdomain>

[TEST] Fix Some Failed Test Cases and Tutorials of The Issue #6453 (#6454)

[runtime] fix: BooleanToTranspose function definition conflict (#6452)

Add black to lint docker image (#6451)

[Format] Convert all Python code w/o CI (#6448)

* Add black setup

* Tweak pyproject.toml

* Fix syntax issues

* Fix

* Tweak

* Black all Python code

ROCm: use GcnArch for mcpu and ApiVersion to select code object version (#6447)