arch/sparc64/lib/U3memcpy.S

   1 /* U3memcpy.S: UltraSparc-III optimized memcpy.
   2  *
   3  * Copyright (C) 1999, 2000, 2004 David S. Miller (davem@redhat.com)
   4  */
   5
   6 #ifdef __KERNEL__
   7 #include <asm/visasm.h>
   8 #include <asm/asi.h>
   9 #else
  10 #define ASI_BLK_P 0xf0
  11 #define FPRS_FEF  0x04
  12 #ifdef MEMCPY_DEBUG
  13 #define VISEntryHalf rd %fprs, %o5; wr %g0, FPRS_FEF, %fprs; \
  14                      clr %g1; clr %g2; clr %g3; subcc %g0, %g0, %g0;
  15 #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  16 #else
  17 #define VISEntryHalf rd %fprs, %o5; wr %g0, FPRS_FEF, %fprs
  18 #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  19 #endif
  20 #endif
  21
  22 #ifndef EX_LD
  23 #define EX_LD(x)        x
  24 #endif
  25
  26 #ifndef EX_ST
  27 #define EX_ST(x)        x
  28 #endif
  29
  30 #ifndef EX_RETVAL
  31 #define EX_RETVAL(x)    x
  32 #endif
  33
  34 #ifndef LOAD
  35 #define LOAD(type,addr,dest)    type [addr], dest
  36 #endif
  37
  38 #ifndef STORE
  39 #define STORE(type,src,addr)    type src, [addr]
  40 #endif
  41
  42 #ifndef STORE_BLK
  43 #define STORE_BLK(src,addr)     stda src, [addr] ASI_BLK_P
  44 #endif
  45
  46 #ifndef FUNC_NAME
  47 #define FUNC_NAME       U3memcpy
  48 #endif
  49
  50 #ifndef PREAMBLE
  51 #define PREAMBLE
  52 #endif
  53
  54 #ifndef XCC
  55 #define XCC xcc
  56 #endif
  57
  58         .register       %g2,#scratch
  59         .register       %g3,#scratch
  60
  61         /* Special/non-trivial issues of this code:
  62          *
  63          * 1) %o5 is preserved from VISEntryHalf to VISExitHalf
  64          * 2) Only low 32 FPU registers are used so that only the
  65          *    lower half of the FPU register set is dirtied by this
  66          *    code.  This is especially important in the kernel.
  67          * 3) This code never prefetches cachelines past the end
  68          *    of the source buffer.
  69          */
  70
  71         .text
  72         .align          64
  73
  74         /* The cheetah's flexible spine, oversized liver, enlarged heart,
  75          * slender muscular body, and claws make it the swiftest hunter
  76          * in Africa and the fastest animal on land.  Can reach speeds
  77          * of up to 2.4GB per second.
  78          */
  79
  80         .globl  FUNC_NAME
  81 FUNC_NAME:      /* %o0=dst, %o1=src, %o2=len */
  82         PREAMBLE
  83         mov             %o0, %g5
  84         cmp             %o2, 0
  85         be,pn           %XCC, 85f
  86          or             %o0, %o1, %o3
  87         cmp             %o2, 16
  88         blu,a,pn        %XCC, 80f
  89          or             %o3, %o2, %o3
  90
  91         cmp             %o2, (3 * 64)
  92         blu,pt          %XCC, 70f
  93          andcc          %o3, 0x7, %g0
  94
  95         /* Clobbers o5/g1/g2/g3/g7/icc/xcc.  We must preserve
  96          * o5 from here until we hit VISExitHalf.
  97          */
  98         VISEntryHalf
  99
 100         /* Is 'dst' already aligned on an 64-byte boundary? */
 101         andcc           %o0, 0x3f, %g2
 102         be,pt           %XCC, 2f
 103
 104         /* Compute abs((dst & 0x3f) - 0x40) into %g2.  This is the number
 105          * of bytes to copy to make 'dst' 64-byte aligned.  We pre-
 106          * subtract this from 'len'.
 107          */
 108          sub            %o0, %o1, %o4
 109         sub             %g2, 0x40, %g2
 110         sub             %g0, %g2, %g2
 111         sub             %o2, %g2, %o2
 112         andcc           %g2, 0x7, %g1
 113         be,pt           %icc, 2f
 114          and            %g2, 0x38, %g2
 115
 116 1:      subcc           %g1, 0x1, %g1
 117         EX_LD(LOAD(ldub, %o1 + 0x00, %o3))
 118         EX_ST(STORE(stb, %o3, %o1 + %o4))
 119         bgu,pt          %XCC, 1b
 120          add            %o1, 0x1, %o1
 121
 122         add             %o1, %o4, %o0
 123
 124 2:      cmp             %g2, 0x0
 125         and             %o1, 0x7, %g1
 126         be,pt           %icc, 3f
 127          alignaddr      %o1, %g0, %o1
 128
 129         EX_LD(LOAD(ldd, %o1, %f4))
 130 1:      EX_LD(LOAD(ldd, %o1 + 0x8, %f6))
 131         add             %o1, 0x8, %o1
 132         subcc           %g2, 0x8, %g2
 133         faligndata      %f4, %f6, %f0
 134         EX_ST(STORE(std, %f0, %o0))
 135         be,pn           %icc, 3f
 136          add            %o0, 0x8, %o0
 137
 138         EX_LD(LOAD(ldd, %o1 + 0x8, %f4))
 139         add             %o1, 0x8, %o1
 140         subcc           %g2, 0x8, %g2
 141         faligndata      %f6, %f4, %f2
 142         EX_ST(STORE(std, %f2, %o0))
 143         bne,pt          %icc, 1b
 144          add            %o0, 0x8, %o0
 145
 146 3:      LOAD(prefetch, %o1 + 0x000, #one_read)
 147         LOAD(prefetch, %o1 + 0x040, #one_read)
 148         andn            %o2, (0x40 - 1), %o4
 149         LOAD(prefetch, %o1 + 0x080, #one_read)
 150         LOAD(prefetch, %o1 + 0x0c0, #one_read)
 151         LOAD(prefetch, %o1 + 0x100, #one_read)
 152         EX_LD(LOAD(ldd, %o1 + 0x000, %f0))
 153         LOAD(prefetch, %o1 + 0x140, #one_read)
 154         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 155         LOAD(prefetch, %o1 + 0x180, #one_read)
 156         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 157         LOAD(prefetch, %o1 + 0x1c0, #one_read)
 158         faligndata      %f0, %f2, %f16
 159         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 160         faligndata      %f2, %f4, %f18
 161         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 162         faligndata      %f4, %f6, %f20
 163         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 164         faligndata      %f6, %f8, %f22
 165
 166         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 167         faligndata      %f8, %f10, %f24
 168         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 169         faligndata      %f10, %f12, %f26
 170         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 171
 172         subcc           %o4, 0x80, %o4
 173         add             %o1, 0x40, %o1
 174         bgu,pt          %XCC, 1f
 175          srl            %o4, 6, %o3
 176         ba,pt           %xcc, 2f
 177          nop
 178
 179         .align          64
 180 1:
 181         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 182         faligndata      %f12, %f14, %f28
 183         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 184         faligndata      %f14, %f0, %f30
 185         EX_ST(STORE_BLK(%f16, %o0))
 186         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 187         faligndata      %f0, %f2, %f16
 188         add             %o0, 0x40, %o0
 189
 190         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 191         faligndata      %f2, %f4, %f18
 192         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 193         faligndata      %f4, %f6, %f20
 194         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 195         subcc           %o3, 0x01, %o3
 196         faligndata      %f6, %f8, %f22
 197         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 198
 199         faligndata      %f8, %f10, %f24
 200         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 201         LOAD(prefetch, %o1 + 0x1c0, #one_read)
 202         faligndata      %f10, %f12, %f26
 203         bg,pt           %XCC, 1b
 204          add            %o1, 0x40, %o1
 205
 206         /* Finally we copy the last full 64-byte block. */
 207 2:
 208         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 209         faligndata      %f12, %f14, %f28
 210         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 211         faligndata      %f14, %f0, %f30
 212         EX_ST(STORE_BLK(%f16, %o0))
 213         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 214         faligndata      %f0, %f2, %f16
 215         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 216         faligndata      %f2, %f4, %f18
 217         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 218         faligndata      %f4, %f6, %f20
 219         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 220         faligndata      %f6, %f8, %f22
 221         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 222         faligndata      %f8, %f10, %f24
 223         cmp             %g1, 0
 224         be,pt           %XCC, 1f
 225          add            %o0, 0x40, %o0
 226         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 227 1:      faligndata      %f10, %f12, %f26
 228         faligndata      %f12, %f14, %f28
 229         faligndata      %f14, %f0, %f30
 230         EX_ST(STORE_BLK(%f16, %o0))
 231         add             %o0, 0x40, %o0
 232         add             %o1, 0x40, %o1
 233         membar          #Sync
 234
 235         /* Now we copy the (len modulo 64) bytes at the end.
 236          * Note how we borrow the %f0 loaded above.
 237          *
 238          * Also notice how this code is careful not to perform a
 239          * load past the end of the src buffer.
 240          */
 241         and             %o2, 0x3f, %o2
 242         andcc           %o2, 0x38, %g2
 243         be,pn           %XCC, 2f
 244          subcc          %g2, 0x8, %g2
 245         be,pn           %XCC, 2f
 246          cmp            %g1, 0
 247
 248         sub             %o2, %g2, %o2
 249         be,a,pt         %XCC, 1f
 250          EX_LD(LOAD(ldd, %o1 + 0x00, %f0))
 251
 252 1:      EX_LD(LOAD(ldd, %o1 + 0x08, %f2))
 253         add             %o1, 0x8, %o1
 254         subcc           %g2, 0x8, %g2
 255         faligndata      %f0, %f2, %f8
 256         EX_ST(STORE(std, %f8, %o0))
 257         be,pn           %XCC, 2f
 258          add            %o0, 0x8, %o0
 259         EX_LD(LOAD(ldd, %o1 + 0x08, %f0))
 260         add             %o1, 0x8, %o1
 261         subcc           %g2, 0x8, %g2
 262         faligndata      %f2, %f0, %f8
 263         EX_ST(STORE(std, %f8, %o0))
 264         bne,pn          %XCC, 1b
 265          add            %o0, 0x8, %o0
 266
 267         /* If anything is left, we copy it one byte at a time.
 268          * Note that %g1 is (src & 0x3) saved above before the
 269          * alignaddr was performed.
 270          */
 271 2:
 272         cmp             %o2, 0
 273         add             %o1, %g1, %o1
 274         VISExitHalf
 275         be,pn           %XCC, 85f
 276          sub            %o0, %o1, %o3
 277
 278         andcc           %g1, 0x7, %g0
 279         bne,pn          %icc, 90f
 280          andcc          %o2, 0x8, %g0
 281         be,pt           %icc, 1f
 282          nop
 283         EX_LD(LOAD(ldx, %o1, %o5))
 284         EX_ST(STORE(stx, %o5, %o1 + %o3))
 285         add             %o1, 0x8, %o1
 286
 287 1:      andcc           %o2, 0x4, %g0
 288         be,pt           %icc, 1f
 289          nop
 290         EX_LD(LOAD(lduw, %o1, %o5))
 291         EX_ST(STORE(stw, %o5, %o1 + %o3))
 292         add             %o1, 0x4, %o1
 293
 294 1:      andcc           %o2, 0x2, %g0
 295         be,pt           %icc, 1f
 296          nop
 297         EX_LD(LOAD(lduh, %o1, %o5))
 298         EX_ST(STORE(sth, %o5, %o1 + %o3))
 299         add             %o1, 0x2, %o1
 300
 301 1:      andcc           %o2, 0x1, %g0
 302         be,pt           %icc, 85f
 303          nop
 304         EX_LD(LOAD(ldub, %o1, %o5))
 305         ba,pt           %xcc, 85f
 306          EX_ST(STORE(stb, %o5, %o1 + %o3))
 307
 308         .align          64
 309 70: /* 16 < len <= 64 */
 310         bne,pn          %XCC, 75f
 311          sub            %o0, %o1, %o3
 312
 313 72:
 314         andn            %o2, 0xf, %o4
 315         and             %o2, 0xf, %o2
 316 1:      subcc           %o4, 0x10, %o4
 317         EX_LD(LOAD(ldx, %o1 + 0x00, %o5))
 318         EX_LD(LOAD(ldx, %o1 + 0x08, %g1))
 319         EX_ST(STORE(stx, %o5, %o1 + %o3))
 320         add             %o1, 0x8, %o1
 321         EX_ST(STORE(stx, %g1, %o1 + %o3))
 322         bgu,pt          %XCC, 1b
 323          add            %o1, 0x8, %o1
 324 73:     andcc           %o2, 0x8, %g0
 325         be,pt           %XCC, 1f
 326          nop
 327         sub             %o2, 0x8, %o2
 328         EX_LD(LOAD(ldx, %o1, %o5))
 329         EX_ST(STORE(stx, %o5, %o1 + %o3))
 330         add             %o1, 0x8, %o1
 331 1:      andcc           %o2, 0x4, %g0
 332         be,pt           %XCC, 1f
 333          nop
 334         sub             %o2, 0x4, %o2
 335         EX_LD(LOAD(lduw, %o1, %o5))
 336         EX_ST(STORE(stw, %o5, %o1 + %o3))
 337         add             %o1, 0x4, %o1
 338 1:      cmp             %o2, 0
 339         be,pt           %XCC, 85f
 340          nop
 341         ba,pt           %xcc, 90f
 342          nop
 343
 344 75:
 345         andcc           %o0, 0x7, %g1
 346         sub             %g1, 0x8, %g1
 347         be,pn           %icc, 2f
 348          sub            %g0, %g1, %g1
 349         sub             %o2, %g1, %o2
 350
 351 1:      subcc           %g1, 1, %g1
 352         EX_LD(LOAD(ldub, %o1, %o5))
 353         EX_ST(STORE(stb, %o5, %o1 + %o3))
 354         bgu,pt          %icc, 1b
 355          add            %o1, 1, %o1
 356
 357 2:      add             %o1, %o3, %o0
 358         andcc           %o1, 0x7, %g1
 359         bne,pt          %icc, 8f
 360          sll            %g1, 3, %g1
 361
 362         cmp             %o2, 16
 363         bgeu,pt         %icc, 72b
 364          nop
 365         ba,a,pt         %xcc, 73b
 366
 367 8:      mov             64, %o3
 368         andn            %o1, 0x7, %o1
 369         EX_LD(LOAD(ldx, %o1, %g2))
 370         sub             %o3, %g1, %o3
 371         andn            %o2, 0x7, %o4
 372         sllx            %g2, %g1, %g2
 373 1:      EX_LD(LOAD(ldx, %o1 + 0x8, %g3))
 374         subcc           %o4, 0x8, %o4
 375         add             %o1, 0x8, %o1
 376         srlx            %g3, %o3, %o5
 377         or              %o5, %g2, %o5
 378         EX_ST(STORE(stx, %o5, %o0))
 379         add             %o0, 0x8, %o0
 380         bgu,pt          %icc, 1b
 381          sllx           %g3, %g1, %g2
 382
 383         srl             %g1, 3, %g1
 384         andcc           %o2, 0x7, %o2
 385         be,pn           %icc, 85f
 386          add            %o1, %g1, %o1
 387         ba,pt           %xcc, 90f
 388          sub            %o0, %o1, %o3
 389
 390         .align          64
 391 80: /* 0 < len <= 16 */
 392         andcc           %o3, 0x3, %g0
 393         bne,pn          %XCC, 90f
 394          sub            %o0, %o1, %o3
 395
 396 1:
 397         subcc           %o2, 4, %o2
 398         EX_LD(LOAD(lduw, %o1, %g1))
 399         EX_ST(STORE(stw, %g1, %o1 + %o3))
 400         bgu,pt          %XCC, 1b
 401          add            %o1, 4, %o1
 402
 403 85:     retl
 404          mov            EX_RETVAL(%g5), %o0
 405
 406         .align          32
 407 90:
 408         subcc           %o2, 1, %o2
 409         EX_LD(LOAD(ldub, %o1, %g1))
 410         EX_ST(STORE(stb, %g1, %o1 + %o3))
 411         bgu,pt          %XCC, 90b
 412          add            %o1, 1, %o1
 413         retl
 414          mov            EX_RETVAL(%g5), %o0