NFC: Replace Function::args_iterator with Block::args_iterator.

--

PiperOrigin-RevId: 250311059

Fix mismatched-tags warning.

--

PiperOrigin-RevId: 250310618

Tidy up a few parser functions in the ModuleParser. This also adds a missing error for attribute aliases that contain '.' characters.

--

PiperOrigin-RevId: 250291646

[ODS] Support numRegions in Op definition

--

PiperOrigin-RevId: 250282024

Do not assume Blocks belong to Functions

    Fix Block::splitBlock and Block::eraseFromFunction that erronously assume
    blocks belong to functions.  They now belong to regions.  When splitting, new
    blocks should be created in the same region as the existing block.  When
    erasing a block, it should be removed from the region rather than from the
    function body that transitively contains the region.

    Also rename Block::eraseFromFunction to Block::erase for consistency with other
    IR containers.

--

PiperOrigin-RevId: 250278272

Fix translation of NVVM special registers to intrinsics.

    The original implementation did not map the return value of the intrinsics
    call to the result value of the special register op. Uses of the result
    value hence hit a nullpointer.

--

PiperOrigin-RevId: 250255436

Decouple affine->standard lowering from the pass

    The lowering from the Affine dialect to the Standard dialect was originally
    implemented as a standalone pass.  However, it may be used by other passes
    willing to lower away some of the affine constructs as a part of their
    operation.  Decouple the transformation functions from the pass infrastructure
    and expose the entry point for the lowering.

    Also update the lowering functions to use `LogicalResult` instead of bool for
    return values.

--

PiperOrigin-RevId: 250229198

Fix correspondence between trait names in ODS and C++ class names.

    Make the correspondence between the ODS and C++ side clearer.

--

PiperOrigin-RevId: 250211194

Change pattern test to use TestDialect instead.

    Verify pattern specification, added benefit, named pattern and location recording using TestDialect. Naming is verified via explicitly adding named pattern to TestPatternDriver pass. Refactoring test to verify the desired functionality rather than generated code.

--

PiperOrigin-RevId: 250205618

Use SourceMgrDiagnosticHandler in mlir-translate for translations from MLIR input.

    Report errors using the file and line location using SourceMgr's diagnostic reporting. Reduce some horizontal white spacing too.

--

PiperOrigin-RevId: 250193646

Move the 'is_detected' utility out of StorageUniquer and into STLExtras to allow reuse throughout the codebase.

--

PiperOrigin-RevId: 250160508

Avoid unused variable warning.

--

PiperOrigin-RevId: 250109802

NFC: Add a missing include for std::isalnum and std::digit.

--

PiperOrigin-RevId: 250085298

NFC: Cleanup a switch statement that only has a default case.

--

PiperOrigin-RevId: 250062529

Add a 'getDialectNamespace' utility to a few dialects.

--

PiperOrigin-RevId: 250049416

[spirv] Start the SPIR-V dialect

    This CL sets up the basic structure for a SPIR-V dialect: operation
    definition specification, dialect registration, testing, etc.
    A single op, FMul, is defined and tested to showcase.

    The SPIR-V dialect aims to be a simple proxy for the SPIR-V binary format
    to enable straightforward and lightweight conversion from/to the binary
    format. Ops in this dialect should stay as the same semantic level and
    try to be a mechanical mapping to the corresponding SPIR-V instructions;
    but they can deviate representationally to allow using MLIR mechanisms.

--

PiperOrigin-RevId: 250040830

Add a templated wrapper around RewritePattern that allows for defining match/rewrite methods with an instance of the source op instead of a raw Operation*.

--

PiperOrigin-RevId: 250003405

Use fused location for rewritten ops in generated rewrites.

    This does tracks the location by recording all the ops in the source pattern and using the fused location for the transformed op. Track the locations via the rewrite state which is a bit heavy weight, in follow up to change to matchAndRewrite this will be addressed (and need for extra array go away).

--

PiperOrigin-RevId: 249986555

Make scope explicit to avoid misleading-indentation warnings.

--

PiperOrigin-RevId: 249986537

Address some build warnings.

--

PiperOrigin-RevId: 249986120

Add support to RewritePattern for specifying the potential operations that can be generated during a rewrite. This will enable analyses to start understanding the possible effects of applying a rewrite pattern.

--

PiperOrigin-RevId: 249936309

Fix incorrect result type inference for nested tuples & remove hacky const case.

    Builders can be further refined but wanted to address bug where the result type was used beyond the first depth.

--

PiperOrigin-RevId: 249936004

Update the type printer for Diagnostic to automatically wrap the type with ''.

--

PiperOrigin-RevId: 249935489

Update the m_Constant matcher to enable matching derived attribute types.

--

PiperOrigin-RevId: 249933184

Rename DialectConversion to TypeConverter and split out pattern construction. This simplifies building the conversion pattern list from multiple sources.

--

PiperOrigin-RevId: 249930583

Move the definitions of LoadOp and StoreOp to the ODG framework.

--

PiperOrigin-RevId: 249928980

Move the definitions of CmpIOp, CmpFOp, and SelectOp to the ODG framework.

--

PiperOrigin-RevId: 249928953

Replace checks for rank -1 with direct calls to hasRank

    Also removed a redundant check for rank after already checking for static shape (which implies rank)

--

PiperOrigin-RevId: 249927636

Limit the number of places where shaped type has to explicitly reference its base classes.

    Introduces a hasRank() method to make checking for rank a bit easier.

    This is partially to make it easier to make MemRef subclass ShapedType

--

PiperOrigin-RevId: 249927442

Use TestDialect to test traits instead of unittest.

--

PiperOrigin-RevId: 249916947

Add a type-constrained nested tuple type.

    This is useful for dialects that use tuples but only support a subset of types.

--

PiperOrigin-RevId: 249910133

Add TestLoopFusion.cpp to CMakeLists.txt

--

PiperOrigin-RevId: 249901490

Add operand type iterators to Operation and cleanup usages of operand->getType. This also simplifies some lingering usages of result->getType.

--

PiperOrigin-RevId: 249889174

Add LoopFusionUtils.cpp to CMakeLists.

--

PiperOrigin-RevId: 249887371

Affine Loop Fusion Utility Module (1/n).
    *) Adds LoopFusionUtils which will expose a set of loop fusion utilities (e.g. dependence checks, fusion cost/storage reduction, loop fusion transformation) for use by loop fusion algorithms. Support for checking block-level fusion-preventing dependences is added in this CL (additional loop fusion utilities will be added in subsequent CLs).
    *) Adds TestLoopFusion test pass for testing LoopFusionUtils at a fine granularity.
    *) Adds unit test for testing dependence check for block-level fusion-preventing dependences.

--

PiperOrigin-RevId: 249861071

NFC: Rename DialectConversionPattern to ConversionPattern.

--

PiperOrigin-RevId: 249857277

Detemplatize convertRegion in DialectConversion

    Originally, FunctionConverter::convertRegion in the DialectConversion framework
    was implemented as a function template because it was creating a new region in
    the parent object, which could have been an op or a function.  Since
    DialectConversion now operates in place, new region is no longer created so
    there is no need for convertRegion to be aware of the parent, only of the error
    reporting location.

--

PiperOrigin-RevId: 249826392

Add support for llvm.constant with StringAttr as value.

    These are translated to an llvm::ConstantDataArray on translation to llvm IR
    proper.

--

PiperOrigin-RevId: 249813111

Move explicit calls to Module::getNamedFunction outside of the operations that contain FunctionAttr. It is up to the users of operations to query the module for a specific function referenced by a FunctionAttr.

--

PiperOrigin-RevId: 249743109

Introduce a new common diagnostic handler ScopedDiagnosticHandler to simplify saving and restoring the currently registered handler.

--

PiperOrigin-RevId: 249735912

Add pattern file location to generated code to trace origin of pattern.

--

PiperOrigin-RevId: 249734666

Make TupleOf take a list of allowed types.

    This better matches other container types. Seems better to do that, even though tuples are a little different, since they don't have a single element type.

    Also fixed its description to mention the element type.

--

PiperOrigin-RevId: 249730341

Add a new TestDialect directory in tests/. This directory defines a fake 'TestDialect' that allows for the use of FileCheck to test things that aren't currently used anywhere else in tree. As a first order, this should simplify the tests used for tablegen components revolving around operation constraints/patterns.

--

PiperOrigin-RevId: 249724328

Rename Float/Integer to AnyFloat/AnyInteger

    This emphasizes that it is potentially less constrained than you might desire (especially dialects will frequently not support all bit widths), and better matches the other type names, especially the container types.

--

PiperOrigin-RevId: 249718409

Fix Linalg tiling for the partial tile case.

    This CL prepares for mixing lowering of tiled linalg operations to loops with load and store operations. In particular it is necessary to capture partial tile information in views. This CL makes slice ops during Linalg tiling properly stop at partial tile boundaries by implementing `min` with a `cmpi` and `select` over values of index type.

    To be consistent with lowering to loops, the implementation of tiling also drops specifics of accessing values via ranges and instead uses ranges of the form
    `[0, dim(view), 1]` for creating view slices. This simplifies the code for the implementation of tiling and utils.

    This also allows removing restrictions around needing a View or SliceOp defined in the current function context (as well as all it RangeOps). The restriction removal is tested by making the dot test operate directly on views.

    The above is still subject to folding of the linalg.dim operation left for a future CL.

    At this time, mixing tiling and lowering to loops all the way to execution is not yet functional because affine.for does not allow arbitrarily defined values of index type as its operands.

    The previously introduced linalg.range_intersection was not sufficient to capture the necessary information and still required dealing with max quantities.
    A followup CL will remove linalg.range_intersection.

--

PiperOrigin-RevId: 249698823

Remove a stale declaration in FunctionAttr.

--

PiperOrigin-RevId: 249697345

Added the ability to run a mapping function across the values of an elements
    attr. This supports both the SplatElementsAttr and DenseElementsAttr for both
    float and integer inputs / outputs.

--

PiperOrigin-RevId: 249681056

Apply operation rewrites before updating arguments.

--

PiperOrigin-RevId: 249678839

Decouple running a conversion from the DialectConversion class. The DialectConversion class is only necessary for type signature changes(block arguments or function arguments). This isn't always desired when performing a dialect conversion. This allows for those conversions without this need to run per function instead of per module.

--

PiperOrigin-RevId: 249657549

Fix Linalg lowering to loops

    This CL makes lowering to loops always be a:
    ```
    %D = linalg.dim %view, constant : !linalg.view<...>
    affine.for %ix = %c0 to %D {
      ...
    }
    ```

    This form composes correctly with tiling and is also the proper way to emit loops from views that across function boundaries.
    The previous version that would extract the range_min/max/step was composing incorrectly with tiling (i.e. would shift by range_min both in the loop bounds and in the slice) and would not work across function boundaries.

    The relevant tests are updated and a new test `dot_view`---which lowers to loops from views passed as function parameters---is added.

    When additional context is available, the linalg.dim operations should be folded away but this is left for a future CL.

--

PiperOrigin-RevId: 249634712

Automated rollback of changelist 247713812.

PiperOrigin-RevId: 249605627

Add LLVM::IntToPtrOp and LLVM::PtrToIntOp to LLVM dialect.

--

PiperOrigin-RevId: 249604199

Automated rollback of changelist 249538085.

PiperOrigin-RevId: 249550805

Added the ability to run a mapping function across the values of an elements
    attr. This supports both the SplatElementsAttr and DenseElementsAttr for both
    float and integer inputs / outputs.

--

PiperOrigin-RevId: 249538085

Add thread-safe utilities to LLVMType to allow constructing llvm types in a multi-threaded environment. The LLVMContext is not thread-safe and directly constructing a raw llvm::Type can create situations where the LLVMContext is modified by multiple threads at the same time.

--

PiperOrigin-RevId: 249526233

Refactor FunctionAttr to hold the internal function reference by name instead of pointer. The one downside to this is that the function reference held by a FunctionAttr needs to be explicitly looked up from the parent module. This provides several benefits though:
    * There is no longer a need to explicitly remap function attrs.
      - This removes a potentially expensive call from the destructor of Function.
      - This will enable some interprocedural transformations to now run intraprocedurally.
      - This wasn't scalable and forces dialect defined attributes to override
        a virtual function.
    * Replacing a function is now a trivial operation.
    * This is a necessary first step to representing functions as operations.

--

PiperOrigin-RevId: 249510802

Return nullptr on Region::getContainingOperation()/getContainingFunction() instead of asserting

    This avoids crashing when trying to dump an operation nested in a region that isn't yet attached to an operation, which is quite useful when debugging.

    This alone won't be enough to print an unlink Operation, it'll display `<<UNLINKED INSTRUCTION>>`.

--

PiperOrigin-RevId: 249496388

Make EDSC builder test more robust to the order of evaluation

    EDSC builder test uses FileCheck to match the IR produced by EDSC in the
    textual order.  For mathematical operations, EDSC relies on overloaded
    operators.  Since they are essentially function calls, the order of evaluation
    of their operands is unspecified and differs between compilers.  Do not rely on
    a specific order of operands and just check they are all emitted before the
    last operation.  Give names to matched SSA values in order to make sure the
    right operands are used in relevant places.

--

PiperOrigin-RevId: 249494995

Refactor DialectConversion to operate on functions in-place *without* any cloning. This works by caching all of the requested pattern rewrite operations, e.g. replace operation, and only applying them on a completely successful conversion.

--

PiperOrigin-RevId: 249490306

Update Attribute::getDialect/Type::getDialect to return a non-const dialect reference.

--

PiperOrigin-RevId: 249467245

NFC: Fix the name of a comment header block in Diagnostics.cpp.

--

PiperOrigin-RevId: 249466645

Add a new interleaveComma that allows specifying a unary function for the container elements.

--

PiperOrigin-RevId: 249349269

Make static shape tensor container match other container types

    Suffix with Of and take a list of types. Also give a better description that includes the element type information.

--

PiperOrigin-RevId: 249341159

Simplify container type definitions

    The passed element type description is usually unnecessary, and it's just as valid to want to pass a description for the entire container. In either case there's an alternative (Separate element type def or a TypeAlias) and we don't need to pollute the main API.

    To allow for this, I cleaned up the TF op definitions and added some additional utilities.

--

PiperOrigin-RevId: 249340979

Make the ParallelDiagnosticHandler used by the pass manager publicly available in Diagnostics.h. This provides a common utility for deterministically handling diagnostics in a multi-threaded environment.

--

PiperOrigin-RevId: 249325937

Fix a bug in toy LateLowering where a type conversion was using 'cast' instead of 'dyn_cast'.

--

PiperOrigin-RevId: 249325111

Clean up container type names in OpBase

    Establish the following convention:
    1. Container class types end in "Of" (e.g. TensorOf) and take a list of allowed types.
    2. An X container where only a single type is allowed is called TypeX (e.g. I32Tensor).
    3. An X container where any type is allowed is called AnyX (e.g. AnyTensor).

--

PiperOrigin-RevId: 249281018

CMake build: force-link SDBM lib into SDBM unit tests

    Otherwise, GCC < 7 does not link in the dialect registration, fails to look up
    the dialect in the context and cannot construct SDBM objects.

--

PiperOrigin-RevId: 249259758

Move SDBM uniquer into the SDBM dialect

    MLIRContext does not have to be aware of the SDBM unique data structures
    directly.  Move the SDBM storage uniquer from MLIRContext to the SDBM dialect
    instance.  Expressions that previously required a context to be constructed now
    require an instance of the dialect in order to access the uniquer.  While they
    could look up the dialect in the context, it would have introduced a rather
    expensive lookup into each construction.  Instead, the caller is expected to
    obtain the dialect instance and cache it.

--

PiperOrigin-RevId: 249245199

Move SDBM infrastructure into a new SDBM dialect

    We now have sufficient extensibility in dialects to move attribute components
    such as SDBM out of the core IR into a dedicated dialect and make them
    optional.  Introduce an SDBM dialect and move the code.  This is a mostly
    non-functional change.

--

PiperOrigin-RevId: 249244802

SDBMExpr: factor uniqu'ing out of MLIRContext.cpp

    SDBM expressions are designed as components of an attribute, similarly to
    affine expressions.  As such, they need to be unique'd in the MLIRContext.
    When SDBM expressions were implemented, uniqu'ing objects in a context required
    to modify MLIRContext implementation.  This is no longer the case as generic
    StorageUniquer has been introduced.  Port the SDBMExpr uniqu'ing to use a newly
    introduced uniquer and remove SDBM construction from MLIRContext.cpp.

--

PiperOrigin-RevId: 249244739

Fix -Wsign-compare in OperationSupportTest.cpp

    A couple of warnings was produced when compiling this test due to comaprisons
    with a signed literal.  Used unsigned literals instead.

--

PiperOrigin-RevId: 249242970

Linalg: avoid deriving from MultiOperandTraitBase multiple times

    The Op Definition Generator will automatically insert the VariadicOperands
    trait if an op has variadic operands or results. It already derives from
    MultiOperandTraitBase.

--

PiperOrigin-RevId: 249227268

Small cleanup.
    * Use `cast` rather than `dyn_cast` to get an assertion failure rather than a segfault in case of a type mismatch.
    * Use stream operators to `emitOpError`s.

--

PiperOrigin-RevId: 249208135

AffineExpr: factor uniqu'ing out of MLIRContext.cpp

    Affine expressions are designed as components of an attribute and are unique'd
    in the MLIRContext.  When affine expressions were implemented, uniqu'ing
    objects in a context required to modify MLIRContext implementation.  This is no
    longer the case as generic StorageUniquer has been introduced.  Port the
    AffineExpr construction to use the new infrastructure by introducing an
    affineUniquer into the MLIRContext.

--

PiperOrigin-RevId: 249207539

Drop AffineExpr::Null

    Similarly to other value-type wrappers, the default constructor of AffineExpr
    constructs a null object and removes the need for an explicit ::Null
    constructor.  Drop it and remove the only user which can trivially rely on the
    default constructor.

--

PiperOrigin-RevId: 249207502

Change getParent() to be a const function. This is only necessary because ilist_node_with_parent specifically requires a 'getParent() const' method. If/When ilist_node removes this constraint we should drop the const to fit the rest of the MLIR const model.

--

PiperOrigin-RevId: 249193257

Upstream the Quantizer tool (part 4).

    This adds the basic passes needed and ties them into mlir-opt. Also adds two specific unit tests that exercise them.

    Next step is a standalone quantizer tool and additional cleanup.
    Tested:
      ninja check-mlir

--

PiperOrigin-RevId: 249167690

When changing the type of a Function, also update the type of the respective FunctionAttr.

--

PiperOrigin-RevId: 249137558

[LoopFusion] Don't count terminator op in compute cost.

--

PiperOrigin-RevId: 249124895

Use lambdas for nesting edsc constructs.

    Using ArrayRef introduces issues with the order of evaluation between a constructor and
    the arguments of the subsequent calls to the `operator()`.
    As a consequence the order of captures is not well-defined can go wrong with certain compilers (e.g. gcc-6.4).
    This CL fixes the issue by using lambdas in lieu of ArrayRef.

--

PiperOrigin-RevId: 249114775

Fix MacOS test: use %shlibext in lit command line to expand to .dylib on MacOS and .so on Linux

--

PiperOrigin-RevId: 249113478

Define a string join tablegen utility

--

PiperOrigin-RevId: 249083600

Add CMakeLists.txt entry for Linalg/Transforms/LowerToLoops

--

PiperOrigin-RevId: 249080647

Fix automatic description for AnyTypeOf

    Unfortunately, this now gives a segfault if you pass it an empty list, similar to stringify. Given how fiddly this is, we should probably have a string join helper. I'll fix both of these using better tablegen helpers in a follow-up.

--

PiperOrigin-RevId: 249076849

Rename "AnyOf" and "AllOf" combined predicates to "Or" and "And", respectively.

    This reduces conflict between these and other type names, where we're moving towards "Of" indicating a container type containing certain types. It also better matches the "Neg" predicate modifier and generally is pretty understandable/readable for predicates.

--

PiperOrigin-RevId: 249076508

Delete IntegerBase and FloatBase tablegen classes

    These don't have any behavior and just delegate to Type. The only references are in OpBase.td Since the tablegen type hierarchy is not realized in the generated C++ these also aren't providing value for examining the type hierarchy

--

PiperOrigin-RevId: 249073939

[ODS] Allow dialect to specify C++ namespaces

    Previously we force the C++ namespaces to be `NS` if `SomeOp` is defined as
    `NS_SomeOp`. This is too rigid as it does not support nested namespaces
    well. This CL adds a "namespace" field into the Dialect class to allow
    flexible namespaces.

--

PiperOrigin-RevId: 249064981

Fix Linalg/llvm_ir test

--

PiperOrigin-RevId: 249057043

Fix stride computation bug when lowering linalg.view to llvm

--

PiperOrigin-RevId: 249053115

Add lowering of LinalgLibraryOps to linalg.load + linalg.store.

    This CL adds a pass to lower out of dot,matvec,matmul etc and into a combination of affine.for, linalg.load and linalg.store operations.
    Such operations can then later lowered to LLVM.
    This CL essentially performs op expansion using EDSCs and factors out a few common utils from Tiling.cpp.

--

PiperOrigin-RevId: 249049518

Use FileCheck to test SDBM

    SDBM has an output format representing the unterlying matrix and stripe
    expressions.  Move the SDBM tests from unit testing framework to
    FileCheck-based tests, printing them to the standard output and using FileCheck
    to test the output.  Tests that check the API proper (e.g. that SDBM
    expressions have a specific subtype) and that rely on non-syntatic properties
    (equality of the set of constraints) are not ported.

--

PiperOrigin-RevId: 249006055

ExecutionEngine: drop PassManager integration

    Originally, ExecutionEngine was created before MLIR had a proper pass
    management infrastructure or an LLVM IR dialect (using the LLVM target
    directly).  It has been running a bunch of lowering passes to convert the input
    IR from Standard+Affine dialects to LLVM IR and, later, to the LLVM IR dialect.
    This is no longer necessary and is even undesirable for compilation flows that
    perform their own conversion to the LLVM IR dialect.  Drop this integration and
    make ExecutionEngine accept only the LLVM IR dialect.  Users of the
    ExecutionEngine can call the relevant passes themselves.

--

PiperOrigin-RevId: 249004676

Fix debug build: static constexpr data member must have a definition (until C++17)

--

PiperOrigin-RevId: 248990338

Add support for streaming an OperationName into a Diagnostic.

--

PiperOrigin-RevId: 248987646

NFC: Tidy up DialectConversion.cpp and rename DialectOpConversion to  DialectConversionPattern.

--

PiperOrigin-RevId: 248980810

Refactor the DialectConversion process to clone each function and then operate in-place, as opposed to incrementally constructing a new function. This is crucial to allowing the use of non type-conversion patterns(normal RewritePatterns) as part of the conversion process.

    The converter now works by inserting fake producer operations when replacing the results of an existing operation with values of a different, now legal, type. These fake operations are guaranteed to never escape the converter.

--

PiperOrigin-RevId: 248969130

Allow a function to take the name of another existing function.

--

PiperOrigin-RevId: 248968285

Add support for streaming Operations into Diagnostics.

--

PiperOrigin-RevId: 248967563

Update the rewrite methods of each of the DialectConversion patterns to notify the PatternRewriter that the operation is being replaced.

--

PiperOrigin-RevId: 248965082