arch/arm/mm/cache-v7.S

   1 /*
   2  *  linux/arch/arm/mm/cache-v7.S
   3  *
   4  *  Copyright (C) 2001 Deep Blue Solutions Ltd.
   5  *  Copyright (C) 2005 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  *  This is the "shell" of the ARMv7 processor support.
  12  */
  13 #include <linux/linkage.h>
  14 #include <linux/init.h>
  15 #include <asm/assembler.h>
  16 #include <asm/errno.h>
  17 #include <asm/unwind.h>
  18
  19 #include "proc-macros.S"
  20
  21 /*
  22  *      v7_flush_icache_all()
  23  *
  24  *      Flush the whole I-cache.
  25  *
  26  *      Registers:
  27  *      r0 - set to 0
  28  */
  29 ENTRY(v7_flush_icache_all)
  30         mov     r0, #0
  31         ALT_SMP(mcr     p15, 0, r0, c7, c1, 0)          @ invalidate I-cache inner shareable
  32         ALT_UP(mcr      p15, 0, r0, c7, c5, 0)          @ I+BTB cache invalidate
  33         mov     pc, lr
  34 ENDPROC(v7_flush_icache_all)
  35
  36 /*
  37  *      v7_flush_dcache_all()
  38  *
  39  *      Flush the whole D-cache.
  40  *
  41  *      Corrupted registers: r0-r7, r9-r11 (r6 only in Thumb mode)
  42  *
  43  *      - mm    - mm_struct describing address space
  44  */
  45 ENTRY(v7_flush_dcache_all)
  46         dmb                                     @ ensure ordering with previous memory accesses
  47         mrc     p15, 1, r0, c0, c0, 1           @ read clidr
  48         ands    r3, r0, #0x7000000              @ extract loc from clidr
  49         mov     r3, r3, lsr #23                 @ left align loc bit field
  50         beq     finished                        @ if loc is 0, then no need to clean
  51         mov     r10, #0                         @ start clean at cache level 0
  52 loop1:
  53         add     r2, r10, r10, lsr #1            @ work out 3x current cache level
  54         mov     r1, r0, lsr r2                  @ extract cache type bits from clidr
  55         and     r1, r1, #7                      @ mask of the bits for current cache only
  56         cmp     r1, #2                          @ see what cache we have at this level
  57         blt     skip                            @ skip if no cache, or just i-cache
  58 #ifdef CONFIG_PREEMPT
  59         save_and_disable_irqs_notrace r9        @ make cssr&csidr read atomic
  60 #endif
  61         mcr     p15, 2, r10, c0, c0, 0          @ select current cache level in cssr
  62         isb                                     @ isb to sych the new cssr&csidr
  63         mrc     p15, 1, r1, c0, c0, 0           @ read the new csidr
  64 #ifdef CONFIG_PREEMPT
  65         restore_irqs_notrace r9
  66 #endif
  67         and     r2, r1, #7                      @ extract the length of the cache lines
  68         add     r2, r2, #4                      @ add 4 (line length offset)
  69         ldr     r4, =0x3ff
  70         ands    r4, r4, r1, lsr #3              @ find maximum number on the way size
  71         clz     r5, r4                          @ find bit position of way size increment
  72         ldr     r7, =0x7fff
  73         ands    r7, r7, r1, lsr #13             @ extract max number of the index size
  74 loop2:
  75         mov     r9, r4                          @ create working copy of max way size
  76 loop3:
  77  ARM(   orr     r11, r10, r9, lsl r5    )       @ factor way and cache number into r11
  78  THUMB( lsl     r6, r9, r5              )
  79  THUMB( orr     r11, r10, r6            )       @ factor way and cache number into r11
  80  ARM(   orr     r11, r11, r7, lsl r2    )       @ factor index number into r11
  81  THUMB( lsl     r6, r7, r2              )
  82  THUMB( orr     r11, r11, r6            )       @ factor index number into r11
  83         mcr     p15, 0, r11, c7, c14, 2         @ clean & invalidate by set/way
  84         subs    r9, r9, #1                      @ decrement the way
  85         bge     loop3
  86         subs    r7, r7, #1                      @ decrement the index
  87         bge     loop2
  88 skip:
  89         add     r10, r10, #2                    @ increment cache number
  90         cmp     r3, r10
  91         bgt     loop1
  92 finished:
  93         mov     r10, #0                         @ swith back to cache level 0
  94         mcr     p15, 2, r10, c0, c0, 0          @ select current cache level in cssr
  95         dsb
  96         isb
  97         mov     pc, lr
  98 ENDPROC(v7_flush_dcache_all)
  99
 100 /*
 101  *      v7_flush_cache_all()
 102  *
 103  *      Flush the entire cache system.
 104  *  The data cache flush is now achieved using atomic clean / invalidates
 105  *  working outwards from L1 cache. This is done using Set/Way based cache
 106  *  maintenance instructions.
 107  *  The instruction cache can still be invalidated back to the point of
 108  *  unification in a single instruction.
 109  *
 110  */
 111 ENTRY(v7_flush_kern_cache_all)
 112  ARM(   stmfd   sp!, {r4-r5, r7, r9-r11, lr}    )
 113  THUMB( stmfd   sp!, {r4-r7, r9-r11, lr}        )
 114         bl      v7_flush_dcache_all
 115         mov     r0, #0
 116         ALT_SMP(mcr     p15, 0, r0, c7, c1, 0)  @ invalidate I-cache inner shareable
 117         ALT_UP(mcr      p15, 0, r0, c7, c5, 0)  @ I+BTB cache invalidate
 118  ARM(   ldmfd   sp!, {r4-r5, r7, r9-r11, lr}    )
 119  THUMB( ldmfd   sp!, {r4-r7, r9-r11, lr}        )
 120         mov     pc, lr
 121 ENDPROC(v7_flush_kern_cache_all)
 122
 123 /*
 124  *      v7_flush_cache_all()
 125  *
 126  *      Flush all TLB entries in a particular address space
 127  *
 128  *      - mm    - mm_struct describing address space
 129  */
 130 ENTRY(v7_flush_user_cache_all)
 131         /*FALLTHROUGH*/
 132
 133 /*
 134  *      v7_flush_cache_range(start, end, flags)
 135  *
 136  *      Flush a range of TLB entries in the specified address space.
 137  *
 138  *      - start - start address (may not be aligned)
 139  *      - end   - end address (exclusive, may not be aligned)
 140  *      - flags - vm_area_struct flags describing address space
 141  *
 142  *      It is assumed that:
 143  *      - we have a VIPT cache.
 144  */
 145 ENTRY(v7_flush_user_cache_range)
 146         mov     pc, lr
 147 ENDPROC(v7_flush_user_cache_all)
 148 ENDPROC(v7_flush_user_cache_range)
 149
 150 /*
 151  *      v7_coherent_kern_range(start,end)
 152  *
 153  *      Ensure that the I and D caches are coherent within specified
 154  *      region.  This is typically used when code has been written to
 155  *      a memory region, and will be executed.
 156  *
 157  *      - start   - virtual start address of region
 158  *      - end     - virtual end address of region
 159  *
 160  *      It is assumed that:
 161  *      - the Icache does not read data from the write buffer
 162  */
 163 ENTRY(v7_coherent_kern_range)
 164         /* FALLTHROUGH */
 165
 166 /*
 167  *      v7_coherent_user_range(start,end)
 168  *
 169  *      Ensure that the I and D caches are coherent within specified
 170  *      region.  This is typically used when code has been written to
 171  *      a memory region, and will be executed.
 172  *
 173  *      - start   - virtual start address of region
 174  *      - end     - virtual end address of region
 175  *
 176  *      It is assumed that:
 177  *      - the Icache does not read data from the write buffer
 178  */
 179 ENTRY(v7_coherent_user_range)
 180  UNWIND(.fnstart                )
 181         dcache_line_size r2, r3
 182         sub     r3, r2, #1
 183         bic     r12, r0, r3
 184 #ifdef CONFIG_ARM_ERRATA_764369
 185         ALT_SMP(W(dsb))
 186         ALT_UP(W(nop))
 187 #endif
 188 1:
 189  USER(  mcr     p15, 0, r12, c7, c11, 1 )       @ clean D line to the point of unification
 190         add     r12, r12, r2
 191         cmp     r12, r1
 192         blo     1b
 193         dsb
 194         icache_line_size r2, r3
 195         sub     r3, r2, #1
 196         bic     r12, r0, r3
 197 2:
 198  USER(  mcr     p15, 0, r12, c7, c5, 1  )       @ invalidate I line
 199         add     r12, r12, r2
 200         cmp     r12, r1
 201         blo     2b
 202         mov     r0, #0
 203         ALT_SMP(mcr     p15, 0, r0, c7, c1, 6)  @ invalidate BTB Inner Shareable
 204         ALT_UP(mcr      p15, 0, r0, c7, c5, 6)  @ invalidate BTB
 205         dsb
 206         isb
 207         mov     pc, lr
 208
 209 /*
 210  * Fault handling for the cache operation above. If the virtual address in r0
 211  * isn't mapped, fail with -EFAULT.
 212  */
 213 9001:
 214 #ifdef CONFIG_ARM_ERRATA_775420
 215         dsb
 216 #endif
 217         mov     r0, #-EFAULT
 218         mov     pc, lr
 219  UNWIND(.fnend          )
 220 ENDPROC(v7_coherent_kern_range)
 221 ENDPROC(v7_coherent_user_range)
 222
 223 /*
 224  *      v7_flush_kern_dcache_area(void *addr, size_t size)
 225  *
 226  *      Ensure that the data held in the page kaddr is written back
 227  *      to the page in question.
 228  *
 229  *      - addr  - kernel address
 230  *      - size  - region size
 231  */
 232 ENTRY(v7_flush_kern_dcache_area)
 233         dcache_line_size r2, r3
 234         add     r1, r0, r1
 235         sub     r3, r2, #1
 236         bic     r0, r0, r3
 237 #ifdef CONFIG_ARM_ERRATA_764369
 238         ALT_SMP(W(dsb))
 239         ALT_UP(W(nop))
 240 #endif
 241 1:
 242         mcr     p15, 0, r0, c7, c14, 1          @ clean & invalidate D line / unified line
 243         add     r0, r0, r2
 244         cmp     r0, r1
 245         blo     1b
 246         dsb
 247         mov     pc, lr
 248 ENDPROC(v7_flush_kern_dcache_area)
 249
 250 /*
 251  *      v7_dma_inv_range(start,end)
 252  *
 253  *      Invalidate the data cache within the specified region; we will
 254  *      be performing a DMA operation in this region and we want to
 255  *      purge old data in the cache.
 256  *
 257  *      - start   - virtual start address of region
 258  *      - end     - virtual end address of region
 259  */
 260 v7_dma_inv_range:
 261         dcache_line_size r2, r3
 262         sub     r3, r2, #1
 263         tst     r0, r3
 264         bic     r0, r0, r3
 265 #ifdef CONFIG_ARM_ERRATA_764369
 266         ALT_SMP(W(dsb))
 267         ALT_UP(W(nop))
 268 #endif
 269         mcrne   p15, 0, r0, c7, c14, 1          @ clean & invalidate D / U line
 270
 271         tst     r1, r3
 272         bic     r1, r1, r3
 273         mcrne   p15, 0, r1, c7, c14, 1          @ clean & invalidate D / U line
 274 1:
 275         mcr     p15, 0, r0, c7, c6, 1           @ invalidate D / U line
 276         add     r0, r0, r2
 277         cmp     r0, r1
 278         blo     1b
 279         dsb
 280         mov     pc, lr
 281 ENDPROC(v7_dma_inv_range)
 282
 283 /*
 284  *      v7_dma_clean_range(start,end)
 285  *      - start   - virtual start address of region
 286  *      - end     - virtual end address of region
 287  */
 288 v7_dma_clean_range:
 289         dcache_line_size r2, r3
 290         sub     r3, r2, #1
 291         bic     r0, r0, r3
 292 #ifdef CONFIG_ARM_ERRATA_764369
 293         ALT_SMP(W(dsb))
 294         ALT_UP(W(nop))
 295 #endif
 296 1:
 297         mcr     p15, 0, r0, c7, c10, 1          @ clean D / U line
 298         add     r0, r0, r2
 299         cmp     r0, r1
 300         blo     1b
 301         dsb
 302         mov     pc, lr
 303 ENDPROC(v7_dma_clean_range)
 304
 305 /*
 306  *      v7_dma_flush_range(start,end)
 307  *      - start   - virtual start address of region
 308  *      - end     - virtual end address of region
 309  */
 310 ENTRY(v7_dma_flush_range)
 311         dcache_line_size r2, r3
 312         sub     r3, r2, #1
 313         bic     r0, r0, r3
 314 #ifdef CONFIG_ARM_ERRATA_764369
 315         ALT_SMP(W(dsb))
 316         ALT_UP(W(nop))
 317 #endif
 318 1:
 319         mcr     p15, 0, r0, c7, c14, 1          @ clean & invalidate D / U line
 320         add     r0, r0, r2
 321         cmp     r0, r1
 322         blo     1b
 323         dsb
 324         mov     pc, lr
 325 ENDPROC(v7_dma_flush_range)
 326
 327 /*
 328  *      dma_map_area(start, size, dir)
 329  *      - start - kernel virtual start address
 330  *      - size  - size of region
 331  *      - dir   - DMA direction
 332  */
 333 ENTRY(v7_dma_map_area)
 334         add     r1, r1, r0
 335         teq     r2, #DMA_FROM_DEVICE
 336         beq     v7_dma_inv_range
 337         b       v7_dma_clean_range
 338 ENDPROC(v7_dma_map_area)
 339
 340 /*
 341  *      dma_unmap_area(start, size, dir)
 342  *      - start - kernel virtual start address
 343  *      - size  - size of region
 344  *      - dir   - DMA direction
 345  */
 346 ENTRY(v7_dma_unmap_area)
 347         add     r1, r1, r0
 348         teq     r2, #DMA_TO_DEVICE
 349         bne     v7_dma_inv_range
 350         mov     pc, lr
 351 ENDPROC(v7_dma_unmap_area)
 352
 353         __INITDATA
 354
 355         @ define struct cpu_cache_fns (see <asm/cacheflush.h> and proc-macros.S)
 356         define_cache_functions v7