[X86][SSE] Vectorized i8 and i16 shift operators
authorSimon Pilgrim <llvm-dev@redking.me.uk>
Thu, 11 Jun 2015 07:46:37 +0000 (07:46 +0000)
committerSimon Pilgrim <llvm-dev@redking.me.uk>
Thu, 11 Jun 2015 07:46:37 +0000 (07:46 +0000)
commit5965680d533900065a4f4b14d8ea5f025bb44ce3
tree09606be8248552a49355532b9f524fdc6f4f9d6f
parent2e8ffa3b4496d124c542679f9367b22abdbc5daf
[X86][SSE] Vectorized i8 and i16 shift operators

This patch ensures that SHL/SRL/SRA shifts for i8 and i16 vectors avoid scalarization. It builds on the existing i8 SHL vectorized implementation of moving the shift bits up to the sign bit position and separating the 4, 2 & 1 bit shifts with several improvements:

1 - SSE41 targets can use (v)pblendvb directly with the sign bit instead of performing a comparison to feed into a VSELECT node.
2 - pre-SSE41 targets were masking + comparing with an 0x80 constant - we avoid this by using the fact that a set sign bit means a negative integer which can be compared against zero to then feed into VSELECT, avoiding the need for a constant mask (zero generation is much cheaper).
3 - SRA i8 needs to be unpacked to the upper byte of a i16 so that the i16 psraw instruction can be correctly used for sign extension - we have to do more work than for SHL/SRL but perf tests indicate that this is still beneficial.

The i16 implementation is similar but simpler than for i8 - we have to do 8, 4, 2 & 1 bit shifts but less shift masking is involved. SSE41 use of (v)pblendvb requires that the i16 shift amount is splatted to both bytes however.

Tested on SSE2, SSE41 and AVX machines.

Differential Revision: http://reviews.llvm.org/D9474

llvm-svn: 239509
llvm/lib/Target/X86/X86ISelLowering.cpp
llvm/lib/Target/X86/X86TargetTransformInfo.cpp
llvm/test/Analysis/CostModel/X86/testshiftashr.ll
llvm/test/Analysis/CostModel/X86/testshiftlshr.ll
llvm/test/Analysis/CostModel/X86/testshiftshl.ll
llvm/test/CodeGen/X86/2011-12-15-vec_shift.ll
llvm/test/CodeGen/X86/avx2-vector-shifts.ll
llvm/test/CodeGen/X86/vec_shift8.ll