swiotlb: optimize get_max_slots()
authorPetr Tesarik <petr.tesarik.ext@huawei.com>
Thu, 3 Aug 2023 11:59:41 +0000 (13:59 +0200)
committerChristoph Hellwig <hch@lst.de>
Tue, 8 Aug 2023 17:29:21 +0000 (10:29 -0700)
Use a simple logical shift and increment to calculate the number of slots
taken by the DMA segment boundary.

At least GCC-13 is not able to optimize the expression, producing this
horrible assembly code on x86:

cmpq $-1, %rcx
je .L364
addq $2048, %rcx
shrq $11, %rcx
movq %rcx, %r13
.L331:
// rest of the function here...

// after function epilogue and return:
.L364:
movabsq $9007199254740992, %r13
jmp .L331

After the optimization, the code looks more reasonable:

shrq $11, %r11
leaq 1(%r11), %rbx

Signed-off-by: Petr Tesarik <petr.tesarik.ext@huawei.com>
Signed-off-by: Christoph Hellwig <hch@lst.de>
kernel/dma/swiotlb.c

index 50a0e9c..394494a 100644 (file)
@@ -903,9 +903,7 @@ static inline phys_addr_t slot_addr(phys_addr_t start, phys_addr_t idx)
  */
 static inline unsigned long get_max_slots(unsigned long boundary_mask)
 {
-       if (boundary_mask == ~0UL)
-               return 1UL << (BITS_PER_LONG - IO_TLB_SHIFT);
-       return nr_slots(boundary_mask + 1);
+       return (boundary_mask >> IO_TLB_SHIFT) + 1;
 }
 
 static unsigned int wrap_area_index(struct io_tlb_pool *mem, unsigned int index)