[LoopVectorize] Fix scalarisation crash in widenPHIInstruction for scalable vectors
authorDavid Sherwood <david.sherwood@arm.com>
Wed, 21 Apr 2021 15:36:11 +0000 (16:36 +0100)
committerDavid Sherwood <david.sherwood@arm.com>
Wed, 12 May 2021 10:02:11 +0000 (11:02 +0100)
commitb7a11274f90f07537e2151fa4424db257ff9a950
tree579f82e90c8a07a80b10db06f5fc314a35bf1ce2
parent6e6f9a636b1917f366821fb0a5c37cde19634c7a
[LoopVectorize] Fix scalarisation crash in widenPHIInstruction for scalable vectors

In InnerLoopVectorizer::widenPHIInstruction there are cases where we have
to scalarise a pointer induction variable after vectorisation. For scalable
vectors we already deal with the case where the pointer induction variable
is uniform, but we currently crash if not uniform. For fixed width vectors
we calculate every lane of the scalarised pointer induction variable for a
given VF, however this cannot work for scalable vectors. In this case I
have added support for caching the whole vector value for each unrolled
part so that we can always extract an arbitrary element. Additionally, we
still continue to cache the known minimum number of lanes too in order
to improve code quality by avoiding an extractelement operation.

I have adapted an existing test `pointer_iv_mixed` from the file:

  Transforms/LoopVectorize/consecutive-ptr-uniforms.ll

and added it here for scalable vectors instead:

  Transforms/LoopVectorize/AArch64/sve-widen-phi.ll

Differential Revision: https://reviews.llvm.org/D101294
llvm/lib/Transforms/Vectorize/LoopVectorize.cpp
llvm/test/Transforms/LoopVectorize/AArch64/sve-widen-phi.ll