arch/sparc/lib/memset.S

   1 /* linux/arch/sparc/lib/memset.S: Sparc optimized memset, bzero and clear_user code
   2  * Copyright (C) 1991,1996 Free Software Foundation
   3  * Copyright (C) 1996,1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
   4  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
   5  *
   6  * Returns 0, if ok, and number of bytes not yet set if exception
   7  * occurs and we were called as clear_user.
   8  */
   9
  10 #include <asm/cprefix.h>
  11 #include <asm/ptrace.h>
  12
  13 /* Work around cpp -rob */
  14 #define ALLOC #alloc
  15 #define EXECINSTR #execinstr
  16 #define EX(x,y,a,b)                             \
  17 98:     x,y;                                    \
  18         .section .fixup,ALLOC,EXECINSTR;        \
  19         .align  4;                              \
  20 99:     ba 30f;                                 \
  21          a, b, %o0;                             \
  22         .section __ex_table,ALLOC;              \
  23         .align  4;                              \
  24         .word   98b, 99b;                       \
  25         .text;                                  \
  26         .align  4
  27
  28 #define EXT(start,end,handler)                  \
  29         .section __ex_table,ALLOC;              \
  30         .align  4;                              \
  31         .word   start, 0, end, handler;         \
  32         .text;                                  \
  33         .align  4
  34
  35 /* Please don't change these macros, unless you change the logic
  36  * in the .fixup section below as well.
  37  * Store 64 bytes at (BASE + OFFSET) using value SOURCE. */
  38 #define ZERO_BIG_BLOCK(base, offset, source)    \
  39         std     source, [base + offset + 0x00]; \
  40         std     source, [base + offset + 0x08]; \
  41         std     source, [base + offset + 0x10]; \
  42         std     source, [base + offset + 0x18]; \
  43         std     source, [base + offset + 0x20]; \
  44         std     source, [base + offset + 0x28]; \
  45         std     source, [base + offset + 0x30]; \
  46         std     source, [base + offset + 0x38];
  47
  48 #define ZERO_LAST_BLOCKS(base, offset, source)  \
  49         std     source, [base - offset - 0x38]; \
  50         std     source, [base - offset - 0x30]; \
  51         std     source, [base - offset - 0x28]; \
  52         std     source, [base - offset - 0x20]; \
  53         std     source, [base - offset - 0x18]; \
  54         std     source, [base - offset - 0x10]; \
  55         std     source, [base - offset - 0x08]; \
  56         std     source, [base - offset - 0x00];
  57
  58         .text
  59         .align 4
  60
  61         .globl  __bzero_begin
  62 __bzero_begin:
  63
  64         .globl  C_LABEL(__bzero), C_LABEL(__memset),
  65         .globl  C_LABEL(memset)
  66         .globl  C_LABEL(__memset_start), C_LABEL(__memset_end)
  67 C_LABEL(__memset_start):
  68 C_LABEL(__memset):
  69 C_LABEL(memset):
  70         and     %o1, 0xff, %g3
  71         sll     %g3, 8, %g2
  72         or      %g3, %g2, %g3
  73         sll     %g3, 16, %g2
  74         or      %g3, %g2, %g3
  75         b       1f
  76          mov    %o2, %o1
  77 3:
  78         cmp     %o2, 3
  79         be      2f
  80          EX(stb %g3, [%o0], sub %o1, 0)
  81
  82         cmp     %o2, 2
  83         be      2f
  84          EX(stb %g3, [%o0 + 0x01], sub %o1, 1)
  85
  86         EX(stb  %g3, [%o0 + 0x02], sub %o1, 2)
  87 2:
  88         sub     %o2, 4, %o2
  89         add     %o1, %o2, %o1
  90         b       4f
  91          sub    %o0, %o2, %o0
  92
  93 C_LABEL(__bzero):
  94         mov     %g0, %g3
  95 1:
  96         cmp     %o1, 7
  97         bleu    7f
  98          andcc  %o0, 3, %o2
  99
 100         bne     3b
 101 4:
 102          andcc  %o0, 4, %g0
 103
 104         be      2f
 105          mov    %g3, %g2
 106
 107         EX(st   %g3, [%o0], sub %o1, 0)
 108         sub     %o1, 4, %o1
 109         add     %o0, 4, %o0
 110 2:
 111         andcc   %o1, 0xffffff80, %o3    ! Now everything is 8 aligned and o1 is len to run
 112         be      9f
 113          andcc  %o1, 0x78, %o2
 114 10:
 115         ZERO_BIG_BLOCK(%o0, 0x00, %g2)
 116         subcc   %o3, 128, %o3
 117         ZERO_BIG_BLOCK(%o0, 0x40, %g2)
 118 11:
 119         EXT(10b, 11b, 20f)
 120         bne     10b
 121          add    %o0, 128, %o0
 122
 123         orcc    %o2, %g0, %g0
 124 9:
 125         be      13f
 126          andcc  %o1, 7, %o1
 127
 128         srl     %o2, 1, %o3
 129         set     13f, %o4
 130         sub     %o4, %o3, %o4
 131         jmp     %o4
 132          add    %o0, %o2, %o0
 133
 134 12:
 135         ZERO_LAST_BLOCKS(%o0, 0x48, %g2)
 136         ZERO_LAST_BLOCKS(%o0, 0x08, %g2)
 137 13:
 138         be      8f
 139          andcc  %o1, 4, %g0
 140
 141         be      1f
 142          andcc  %o1, 2, %g0
 143
 144         EX(st   %g3, [%o0], and %o1, 7)
 145         add     %o0, 4, %o0
 146 1:
 147         be      1f
 148          andcc  %o1, 1, %g0
 149
 150         EX(sth  %g3, [%o0], and %o1, 3)
 151         add     %o0, 2, %o0
 152 1:
 153         bne,a   8f
 154          EX(stb %g3, [%o0], and %o1, 1)
 155 8:
 156         retl
 157          clr    %o0
 158 7:
 159         be      13b
 160          orcc   %o1, 0, %g0
 161
 162         be      0f
 163 8:
 164          add    %o0, 1, %o0
 165         subcc   %o1, 1, %o1
 166         bne,a   8b
 167          EX(stb %g3, [%o0 - 1], add %o1, 1)
 168 0:
 169         retl
 170          clr    %o0
 171 C_LABEL(__memset_end):
 172
 173         .section .fixup,#alloc,#execinstr
 174         .align  4
 175 20:
 176         cmp     %g2, 8
 177         bleu    1f
 178          and    %o1, 0x7f, %o1
 179         sub     %g2, 9, %g2
 180         add     %o3, 64, %o3
 181 1:
 182         sll     %g2, 3, %g2
 183         add     %o3, %o1, %o0
 184         b 30f
 185          sub    %o0, %g2, %o0
 186 21:
 187         mov     8, %o0
 188         and     %o1, 7, %o1
 189         sub     %o0, %g2, %o0
 190         sll     %o0, 3, %o0
 191         b 30f
 192          add    %o0, %o1, %o0
 193 30:
 194 /* %o4 is faulting address, %o5 is %pc where fault occurred */
 195         save    %sp, -104, %sp
 196         mov     %i5, %o0
 197         mov     %i7, %o1
 198         call    C_LABEL(lookup_fault)
 199          mov    %i4, %o2
 200         ret
 201          restore
 202
 203         .globl __bzero_end
 204 __bzero_end: