include/linux/prefetch.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  *  Generic cache management functions. Everything is arch-specific,
   4  *  but this header exists to make sure the defines/functions can be
   5  *  used in a generic way.
   6  *
   7  *  2000-11-13  Arjan van de Ven   <arjan@fenrus.demon.nl>
   8  *
   9  */
  10
  11 #ifndef _LINUX_PREFETCH_H
  12 #define _LINUX_PREFETCH_H
  13
  14 #include <linux/types.h>
  15 #include <asm/processor.h>
  16 #include <asm/cache.h>
  17
  18 struct page;
  19 /*
  20         prefetch(x) attempts to pre-emptively get the memory pointed to
  21         by address "x" into the CPU L1 cache.
  22         prefetch(x) should not cause any kind of exception, prefetch(0) is
  23         specifically ok.
  24
  25         prefetch() should be defined by the architecture, if not, the
  26         #define below provides a no-op define.
  27
  28         There are 2 prefetch() macros:
  29
  30         prefetch(x)     - prefetches the cacheline at "x" for read
  31         prefetchw(x)    - prefetches the cacheline at "x" for write
  32
  33         there is also PREFETCH_STRIDE which is the architecure-preferred
  34         "lookahead" size for prefetching streamed operations.
  35
  36 */
  37
  38 #ifndef ARCH_HAS_PREFETCH
  39 #define prefetch(x) __builtin_prefetch(x)
  40 #endif
  41
  42 #ifndef ARCH_HAS_PREFETCHW
  43 #define prefetchw(x) __builtin_prefetch(x,1)
  44 #endif
  45
  46 #ifndef PREFETCH_STRIDE
  47 #define PREFETCH_STRIDE (4*L1_CACHE_BYTES)
  48 #endif
  49
  50 static inline void prefetch_range(void *addr, size_t len)
  51 {
  52 #ifdef ARCH_HAS_PREFETCH
  53         char *cp;
  54         char *end = addr + len;
  55
  56         for (cp = addr; cp < end; cp += PREFETCH_STRIDE)
  57                 prefetch(cp);
  58 #endif
  59 }
  60
  61 static inline void prefetch_page_address(struct page *page)
  62 {
  63 #if defined(WANT_PAGE_VIRTUAL) || defined(HASHED_PAGE_VIRTUAL)
  64         prefetch(page);
  65 #endif
  66 }
  67
  68 #endif