arch/alpha/lib/ev6-clear_user.S

   1 /*
   2  * arch/alpha/lib/ev6-clear_user.S
   3  * 21264 version contributed by Rick Gorton <rick.gorton@alpha-processor.com>
   4  *
   5  * Zero user space, handling exceptions as we go.
   6  *
   7  * We have to make sure that $0 is always up-to-date and contains the
   8  * right "bytes left to zero" value (and that it is updated only _after_
   9  * a successful copy).  There is also some rather minor exception setup
  10  * stuff.
  11  *
  12  * NOTE! This is not directly C-callable, because the calling semantics
  13  * are different:
  14  *
  15  * Inputs:
  16  *      length in $0
  17  *      destination address in $6
  18  *      exception pointer in $7
  19  *      return address in $28 (exceptions expect it there)
  20  *
  21  * Outputs:
  22  *      bytes left to copy in $0
  23  *
  24  * Clobbers:
  25  *      $1,$2,$3,$4,$5,$6
  26  *
  27  * Much of the information about 21264 scheduling/coding comes from:
  28  *      Compiler Writer's Guide for the Alpha 21264
  29  *      abbreviated as 'CWG' in other comments here
  30  *      ftp.digital.com/pub/Digital/info/semiconductor/literature/dsc-library.html
  31  * Scheduling notation:
  32  *      E       - either cluster
  33  *      U       - upper subcluster; U0 - subcluster U0; U1 - subcluster U1
  34  *      L       - lower subcluster; L0 - subcluster L0; L1 - subcluster L1
  35  * Try not to change the actual algorithm if possible for consistency.
  36  * Determining actual stalls (other than slotting) doesn't appear to be easy to do.
  37  * From perusing the source code context where this routine is called, it is
  38  * a fair assumption that significant fractions of entire pages are zeroed, so
  39  * it's going to be worth the effort to hand-unroll a big loop, and use wh64.
  40  * ASSUMPTION:
  41  *      The believed purpose of only updating $0 after a store is that a signal
  42  *      may come along during the execution of this chunk of code, and we don't
  43  *      want to leave a hole (and we also want to avoid repeating lots of work)
  44  */
  45
  46 /* Allow an exception for an insn; exit if we get one.  */
  47 #define EX(x,y...)                      \
  48         99: x,##y;                      \
  49         .section __ex_table,"a";        \
  50         .gprel32 99b;                   \
  51         lda $31, $exception-99b($31);   \
  52         .previous
  53
  54         .set noat
  55         .set noreorder
  56         .align 4
  57
  58         .globl __do_clear_user
  59         .ent __do_clear_user
  60         .frame  $30, 0, $28
  61         .prologue 0
  62
  63                                 # Pipeline info : Slotting & Comments
  64 __do_clear_user:
  65         ldgp    $29,0($27)      # we do exceptions -- we need the gp.
  66                                 # Macro instruction becomes ldah/lda
  67                                 # .. .. E  E    :
  68         and     $6, 7, $4       # .. E  .. ..   : find dest head misalignment
  69         beq     $0, $zerolength # U  .. .. ..   :  U L U L
  70
  71         addq    $0, $4, $1      # .. .. .. E    : bias counter
  72         and     $1, 7, $2       # .. .. E  ..   : number of misaligned bytes in tail
  73 # Note - we never actually use $2, so this is a moot computation
  74 # and we can rewrite this later...
  75         srl     $1, 3, $1       # .. E  .. ..   : number of quadwords to clear
  76         beq     $4, $headalign  # U  .. .. ..   : U L U L
  77
  78 /*
  79  * Head is not aligned.  Write (8 - $4) bytes to head of destination
  80  * This means $6 is known to be misaligned
  81  */
  82         EX( ldq_u $5, 0($6) )   # .. .. .. L    : load dst word to mask back in
  83         beq     $1, $onebyte    # .. .. U  ..   : sub-word store?
  84         mskql   $5, $6, $5      # .. U  .. ..   : take care of misaligned head
  85         addq    $6, 8, $6       # E  .. .. ..   : L U U L
  86
  87         EX( stq_u $5, -8($6) )  # .. .. .. L    :
  88         subq    $1, 1, $1       # .. .. E  ..   :
  89         addq    $0, $4, $0      # .. E  .. ..   : bytes left -= 8 - misalignment
  90         subq    $0, 8, $0       # E  .. .. ..   : U L U L
  91
  92         .align  4
  93 /*
  94  * (The .align directive ought to be a moot point)
  95  * values upon initial entry to the loop
  96  * $1 is number of quadwords to clear (zero is a valid value)
  97  * $2 is number of trailing bytes (0..7) ($2 never used...)
  98  * $6 is known to be aligned 0mod8
  99  */
 100 $headalign:
 101         subq    $1, 16, $4      # .. .. .. E    : If < 16, we can not use the huge loop
 102         and     $6, 0x3f, $2    # .. .. E  ..   : Forward work for huge loop
 103         subq    $2, 0x40, $3    # .. E  .. ..   : bias counter (huge loop)
 104         blt     $4, $trailquad  # U  .. .. ..   : U L U L
 105
 106 /*
 107  * We know that we're going to do at least 16 quads, which means we are
 108  * going to be able to use the large block clear loop at least once.
 109  * Figure out how many quads we need to clear before we are 0mod64 aligned
 110  * so we can use the wh64 instruction.
 111  */
 112
 113         nop                     # .. .. .. E
 114         nop                     # .. .. E  ..
 115         nop                     # .. E  .. ..
 116         beq     $3, $bigalign   # U  .. .. ..   : U L U L : Aligned 0mod64
 117
 118 $alignmod64:
 119         EX( stq_u $31, 0($6) )  # .. .. .. L
 120         addq    $3, 8, $3       # .. .. E  ..
 121         subq    $0, 8, $0       # .. E  .. ..
 122         nop                     # E  .. .. ..   : U L U L
 123
 124         nop                     # .. .. .. E
 125         subq    $1, 1, $1       # .. .. E  ..
 126         addq    $6, 8, $6       # .. E  .. ..
 127         blt     $3, $alignmod64 # U  .. .. ..   : U L U L
 128
 129 $bigalign:
 130 /*
 131  * $0 is the number of bytes left
 132  * $1 is the number of quads left
 133  * $6 is aligned 0mod64
 134  * we know that we'll be taking a minimum of one trip through
 135  * CWG Section 3.7.6: do not expect a sustained store rate of > 1/cycle
 136  * We are _not_ going to update $0 after every single store.  That
 137  * would be silly, because there will be cross-cluster dependencies
 138  * no matter how the code is scheduled.  By doing it in slightly
 139  * staggered fashion, we can still do this loop in 5 fetches
 140  * The worse case will be doing two extra quads in some future execution,
 141  * in the event of an interrupted clear.
 142  * Assumes the wh64 needs to be for 2 trips through the loop in the future
 143  * The wh64 is issued on for the starting destination address for trip +2
 144  * through the loop, and if there are less than two trips left, the target
 145  * address will be for the current trip.
 146  */
 147         nop                     # E :
 148         nop                     # E :
 149         nop                     # E :
 150         bis     $6,$6,$3        # E : U L U L : Initial wh64 address is dest
 151         /* This might actually help for the current trip... */
 152
 153 $do_wh64:
 154         wh64    ($3)            # .. .. .. L1   : memory subsystem hint
 155         subq    $1, 16, $4      # .. .. E  ..   : Forward calculation - repeat the loop?
 156         EX( stq_u $31, 0($6) )  # .. L  .. ..
 157         subq    $0, 8, $0       # E  .. .. ..   : U L U L
 158
 159         addq    $6, 128, $3     # E : Target address of wh64
 160         EX( stq_u $31, 8($6) )  # L :
 161         EX( stq_u $31, 16($6) ) # L :
 162         subq    $0, 16, $0      # E : U L L U
 163
 164         nop                     # E :
 165         EX( stq_u $31, 24($6) ) # L :
 166         EX( stq_u $31, 32($6) ) # L :
 167         subq    $0, 168, $5     # E : U L L U : two trips through the loop left?
 168         /* 168 = 192 - 24, since we've already completed some stores */
 169
 170         subq    $0, 16, $0      # E :
 171         EX( stq_u $31, 40($6) ) # L :
 172         EX( stq_u $31, 48($6) ) # L :
 173         cmovlt  $5, $6, $3      # E : U L L U : Latency 2, extra mapping cycle
 174
 175         subq    $1, 8, $1       # E :
 176         subq    $0, 16, $0      # E :
 177         EX( stq_u $31, 56($6) ) # L :
 178         nop                     # E : U L U L
 179
 180         nop                     # E :
 181         subq    $0, 8, $0       # E :
 182         addq    $6, 64, $6      # E :
 183         bge     $4, $do_wh64    # U : U L U L
 184
 185 $trailquad:
 186         # zero to 16 quadwords left to store, plus any trailing bytes
 187         # $1 is the number of quadwords left to go.
 188         #
 189         nop                     # .. .. .. E
 190         nop                     # .. .. E  ..
 191         nop                     # .. E  .. ..
 192         beq     $1, $trailbytes # U  .. .. ..   : U L U L : Only 0..7 bytes to go
 193
 194 $onequad:
 195         EX( stq_u $31, 0($6) )  # .. .. .. L
 196         subq    $1, 1, $1       # .. .. E  ..
 197         subq    $0, 8, $0       # .. E  .. ..
 198         nop                     # E  .. .. ..   : U L U L
 199
 200         nop                     # .. .. .. E
 201         nop                     # .. .. E  ..
 202         addq    $6, 8, $6       # .. E  .. ..
 203         bgt     $1, $onequad    # U  .. .. ..   : U L U L
 204
 205         # We have an unknown number of bytes left to go.
 206 $trailbytes:
 207         nop                     # .. .. .. E
 208         nop                     # .. .. E  ..
 209         nop                     # .. E  .. ..
 210         beq     $0, $zerolength # U  .. .. ..   : U L U L
 211
 212         # $0 contains the number of bytes left to copy (0..31)
 213         # so we will use $0 as the loop counter
 214         # We know for a fact that $0 > 0 zero due to previous context
 215 $onebyte:
 216         EX( stb $31, 0($6) )    # .. .. .. L
 217         subq    $0, 1, $0       # .. .. E  ..   :
 218         addq    $6, 1, $6       # .. E  .. ..   :
 219         bgt     $0, $onebyte    # U  .. .. ..   : U L U L
 220
 221 $zerolength:
 222 $exception:                     # Destination for exception recovery(?)
 223         nop                     # .. .. .. E    :
 224         nop                     # .. .. E  ..   :
 225         nop                     # .. E  .. ..   :
 226         ret     $31, ($28), 1   # L0 .. .. ..   : L U L U
 227         .end __do_clear_user
 228