kernel/linux/arch/arm/mm/cache-v4wt.S

   1 /*
   2  *  linux/arch/arm/mm/cache-v4wt.S
   3  *
   4  *  Copyright (C) 1997-2002 Russell king
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  *  ARMv4 write through cache operations support.
  11  *
  12  *  We assume that the write buffer is not enabled.
  13  */
  14 #include <linux/linkage.h>
  15 #include <linux/init.h>
  16 #include <asm/hardware.h>
  17 #include <asm/page.h>
  18 #include "proc-macros.S"
  19
  20 /*
  21  * The size of one data cache line.
  22  */
  23 #define CACHE_DLINESIZE 32
  24
  25 /*
  26  * The number of data cache segments.
  27  */
  28 #define CACHE_DSEGMENTS 8
  29
  30 /*
  31  * The number of lines in a cache segment.
  32  */
  33 #define CACHE_DENTRIES  64
  34
  35 /*
  36  * This is the size at which it becomes more efficient to
  37  * clean the whole cache, rather than using the individual
  38  * cache line maintainence instructions.
  39  *
  40  * *** This needs benchmarking
  41  */
  42 #define CACHE_DLIMIT    16384
  43
  44 /*
  45  *      flush_user_cache_all()
  46  *
  47  *      Invalidate all cache entries in a particular address
  48  *      space.
  49  */
  50 ENTRY(v4wt_flush_user_cache_all)
  51         /* FALLTHROUGH */
  52 /*
  53  *      flush_kern_cache_all()
  54  *
  55  *      Clean and invalidate the entire cache.
  56  */
  57 ENTRY(v4wt_flush_kern_cache_all)
  58         mov     r2, #VM_EXEC
  59         mov     ip, #0
  60 __flush_whole_cache:
  61         tst     r2, #VM_EXEC
  62         mcrne   p15, 0, ip, c7, c5, 0           @ invalidate I cache
  63         mcr     p15, 0, ip, c7, c6, 0           @ invalidate D cache
  64         mov     pc, lr
  65
  66 /*
  67  *      flush_user_cache_range(start, end, flags)
  68  *
  69  *      Clean and invalidate a range of cache entries in the specified
  70  *      address space.
  71  *
  72  *      - start - start address (inclusive, page aligned)
  73  *      - end   - end address (exclusive, page aligned)
  74  *      - flags - vma_area_struct flags describing address space
  75  */
  76 ENTRY(v4wt_flush_user_cache_range)
  77         sub     r3, r1, r0                      @ calculate total size
  78         cmp     r3, #CACHE_DLIMIT
  79         bhs     __flush_whole_cache
  80
  81 1:      mcr     p15, 0, r0, c7, c6, 1           @ invalidate D entry
  82         tst     r2, #VM_EXEC
  83         mcrne   p15, 0, r0, c7, c5, 1           @ invalidate I entry
  84         add     r0, r0, #CACHE_DLINESIZE
  85         cmp     r0, r1
  86         blo     1b
  87         mov     pc, lr
  88
  89 /*
  90  *      coherent_kern_range(start, end)
  91  *
  92  *      Ensure coherency between the Icache and the Dcache in the
  93  *      region described by start.  If you have non-snooping
  94  *      Harvard caches, you need to implement this function.
  95  *
  96  *      - start  - virtual start address
  97  *      - end    - virtual end address
  98  */
  99 ENTRY(v4wt_coherent_kern_range)
 100         bic     r0, r0, #CACHE_DLINESIZE - 1
 101 1:      mcr     p15, 0, r0, c7, c5, 1           @ invalidate I entry
 102         add     r0, r0, #CACHE_DLINESIZE
 103         cmp     r0, r1
 104         blo     1b
 105         mov     pc, lr
 106
 107 /*
 108  *      flush_kern_dcache_page(void *page)
 109  *
 110  *      Ensure no D cache aliasing occurs, either with itself or
 111  *      the I cache
 112  *
 113  *      - addr  - page aligned address
 114  */
 115 ENTRY(v4wt_flush_kern_dcache_page)
 116         mov     r2, #0
 117         mcr     p15, 0, r2, c7, c5, 0           @ invalidate I cache
 118         add     r1, r0, #PAGE_SZ
 119         /* fallthrough */
 120
 121 /*
 122  *      dma_inv_range(start, end)
 123  *
 124  *      Invalidate (discard) the specified virtual address range.
 125  *      May not write back any entries.  If 'start' or 'end'
 126  *      are not cache line aligned, those lines must be written
 127  *      back.
 128  *
 129  *      - start  - virtual start address
 130  *      - end    - virtual end address
 131  */
 132 ENTRY(v4wt_dma_inv_range)
 133         bic     r0, r0, #CACHE_DLINESIZE - 1
 134 1:      mcr     p15, 0, r0, c7, c6, 1           @ invalidate D entry
 135         add     r0, r0, #CACHE_DLINESIZE
 136         cmp     r0, r1
 137         blo     1b
 138         /* FALLTHROUGH */
 139
 140 /*
 141  *      dma_clean_range(start, end)
 142  *
 143  *      Clean the specified virtual address range.
 144  *
 145  *      - start  - virtual start address
 146  *      - end    - virtual end address
 147  */
 148 ENTRY(v4wt_dma_clean_range)
 149         mov     pc, lr
 150
 151 /*
 152  *      dma_flush_range(start, end)
 153  *
 154  *      Clean and invalidate the specified virtual address range.
 155  *
 156  *      - start  - virtual start address
 157  *      - end    - virtual end address
 158  */
 159         .globl  v4wt_dma_flush_range
 160         .equ    v4wt_dma_flush_range, v4wt_dma_inv_range
 161
 162         __INITDATA
 163
 164         .type   v4wt_cache_fns, #object
 165 ENTRY(v4wt_cache_fns)
 166         .long   v4wt_flush_kern_cache_all
 167         .long   v4wt_flush_user_cache_all
 168         .long   v4wt_flush_user_cache_range
 169         .long   v4wt_coherent_kern_range
 170         .long   v4wt_flush_kern_dcache_page
 171         .long   v4wt_dma_inv_range
 172         .long   v4wt_dma_clean_range
 173         .long   v4wt_dma_flush_range
 174         .size   v4wt_cache_fns, . - v4wt_cache_fns