include/asm-sparc64/ttable.h

   1 /* $Id: ttable.h,v 1.18 2002/02/09 19:49:32 davem Exp $ */
   2 #ifndef _SPARC64_TTABLE_H
   3 #define _SPARC64_TTABLE_H
   4
   5 #include <asm/utrap.h>
   6
   7 #ifdef __ASSEMBLY__
   8 #include <asm/thread_info.h>
   9 #endif
  10
  11 #define BOOT_KERNEL b sparc64_boot; nop; nop; nop; nop; nop; nop; nop;
  12
  13 /* We need a "cleaned" instruction... */
  14 #define CLEAN_WINDOW                                                    \
  15         rdpr    %cleanwin, %l0;         add     %l0, 1, %l0;            \
  16         wrpr    %l0, 0x0, %cleanwin;                                    \
  17         clr     %o0;    clr     %o1;    clr     %o2;    clr     %o3;    \
  18         clr     %o4;    clr     %o5;    clr     %o6;    clr     %o7;    \
  19         clr     %l0;    clr     %l1;    clr     %l2;    clr     %l3;    \
  20         clr     %l4;    clr     %l5;    clr     %l6;    clr     %l7;    \
  21         retry;                                                          \
  22         nop;nop;nop;nop;nop;nop;nop;nop;nop;nop;nop;nop;
  23
  24 #define TRAP(routine)                                   \
  25         sethi   %hi(109f), %g7;                         \
  26         ba,pt   %xcc, etrap;                            \
  27 109:     or     %g7, %lo(109b), %g7;                    \
  28         call    routine;                                \
  29          add    %sp, PTREGS_OFF, %o0;                   \
  30         ba,pt   %xcc, rtrap;                            \
  31          clr    %l6;                                    \
  32         nop;
  33
  34 #define TRAP_7INSNS(routine)                            \
  35         sethi   %hi(109f), %g7;                         \
  36         ba,pt   %xcc, etrap;                            \
  37 109:     or     %g7, %lo(109b), %g7;                    \
  38         call    routine;                                \
  39          add    %sp, PTREGS_OFF, %o0;                   \
  40         ba,pt   %xcc, rtrap;                            \
  41          clr    %l6;
  42
  43 #define TRAP_SAVEFPU(routine)                           \
  44         sethi   %hi(109f), %g7;                         \
  45         ba,pt   %xcc, do_fptrap;                        \
  46 109:     or     %g7, %lo(109b), %g7;                    \
  47         call    routine;                                \
  48          add    %sp, PTREGS_OFF, %o0;                   \
  49         ba,pt   %xcc, rtrap;                            \
  50          clr    %l6;                                    \
  51         nop;
  52
  53 #define TRAP_NOSAVE(routine)                            \
  54         ba,pt   %xcc, routine;                          \
  55          nop;                                           \
  56         nop; nop; nop; nop; nop; nop;
  57
  58 #define TRAP_NOSAVE_7INSNS(routine)                     \
  59         ba,pt   %xcc, routine;                          \
  60          nop;                                           \
  61         nop; nop; nop; nop; nop;
  62
  63 #define TRAPTL1(routine)                                \
  64         sethi   %hi(109f), %g7;                         \
  65         ba,pt   %xcc, etraptl1;                         \
  66 109:     or     %g7, %lo(109b), %g7;                    \
  67         call    routine;                                \
  68          add    %sp, PTREGS_OFF, %o0;                   \
  69         ba,pt   %xcc, rtrap;                            \
  70          clr    %l6;                                    \
  71         nop;
  72
  73 #define TRAP_ARG(routine, arg)                          \
  74         sethi   %hi(109f), %g7;                         \
  75         ba,pt   %xcc, etrap;                            \
  76 109:     or     %g7, %lo(109b), %g7;                    \
  77         add     %sp, PTREGS_OFF, %o0;                   \
  78         call    routine;                                \
  79          mov    arg, %o1;                               \
  80         ba,pt   %xcc, rtrap;                            \
  81          clr    %l6;
  82
  83 #define TRAPTL1_ARG(routine, arg)                       \
  84         sethi   %hi(109f), %g7;                         \
  85         ba,pt   %xcc, etraptl1;                         \
  86 109:     or     %g7, %lo(109b), %g7;                    \
  87         add     %sp, PTREGS_OFF, %o0;                   \
  88         call    routine;                                \
  89          mov    arg, %o1;                               \
  90         ba,pt   %xcc, rtrap;                            \
  91          clr    %l6;
  92
  93 #define SYSCALL_TRAP(routine, systbl)                   \
  94         sethi   %hi(109f), %g7;                         \
  95         ba,pt   %xcc, etrap;                            \
  96 109:     or     %g7, %lo(109b), %g7;                    \
  97         sethi   %hi(systbl), %l7;                       \
  98         ba,pt   %xcc, routine;                          \
  99          or     %l7, %lo(systbl), %l7;                  \
 100         nop; nop;
 101
 102 #define INDIRECT_SOLARIS_SYSCALL(num)                   \
 103         sethi   %hi(109f), %g7;                         \
 104         ba,pt   %xcc, etrap;                            \
 105 109:     or     %g7, %lo(109b), %g7;                    \
 106         ba,pt   %xcc, tl0_solaris + 0xc;                \
 107          mov    num, %g1;                               \
 108         nop;nop;nop;
 109
 110 #define TRAP_UTRAP(handler,lvl)                         \
 111         mov     handler, %g3;                           \
 112         ba,pt   %xcc, utrap_trap;                       \
 113          mov    lvl, %g4;                               \
 114         nop;                                            \
 115         nop;                                            \
 116         nop;                                            \
 117         nop;                                            \
 118         nop;
 119
 120 #ifdef CONFIG_SUNOS_EMUL
 121 #define SUNOS_SYSCALL_TRAP SYSCALL_TRAP(linux_sparc_syscall32, sunos_sys_table)
 122 #else
 123 #define SUNOS_SYSCALL_TRAP TRAP(sunos_syscall)
 124 #endif
 125 #ifdef CONFIG_COMPAT
 126 #define LINUX_32BIT_SYSCALL_TRAP SYSCALL_TRAP(linux_sparc_syscall32, sys_call_table32)
 127 #else
 128 #define LINUX_32BIT_SYSCALL_TRAP BTRAP(0x110)
 129 #endif
 130 #define LINUX_64BIT_SYSCALL_TRAP SYSCALL_TRAP(linux_sparc_syscall, sys_call_table64)
 131 #define GETCC_TRAP TRAP(getcc)
 132 #define SETCC_TRAP TRAP(setcc)
 133 #ifdef CONFIG_SOLARIS_EMUL
 134 #define SOLARIS_SYSCALL_TRAP TRAP(solaris_sparc_syscall)
 135 #else
 136 #define SOLARIS_SYSCALL_TRAP TRAP(solaris_syscall)
 137 #endif
 138 #define BREAKPOINT_TRAP TRAP(breakpoint_trap)
 139
 140 #ifdef CONFIG_TRACE_IRQFLAGS
 141
 142 #define TRAP_IRQ(routine, level)                        \
 143         rdpr    %pil, %g2;                              \
 144         wrpr    %g0, 15, %pil;                          \
 145         sethi   %hi(1f-4), %g7;                         \
 146         ba,pt   %xcc, etrap_irq;                        \
 147          or     %g7, %lo(1f-4), %g7;                    \
 148         nop;                                            \
 149         nop;                                            \
 150         nop;                                            \
 151         .subsection     2;                              \
 152 1:      call    trace_hardirqs_off;                     \
 153          nop;                                           \
 154         mov     level, %o0;                             \
 155         call    routine;                                \
 156          add    %sp, PTREGS_OFF, %o1;                   \
 157         ba,a,pt %xcc, rtrap_irq;                        \
 158         .previous;
 159
 160 #else
 161
 162 #define TRAP_IRQ(routine, level)                        \
 163         rdpr    %pil, %g2;                              \
 164         wrpr    %g0, 15, %pil;                          \
 165         ba,pt   %xcc, etrap_irq;                        \
 166          rd     %pc, %g7;                               \
 167         mov     level, %o0;                             \
 168         call    routine;                                \
 169          add    %sp, PTREGS_OFF, %o1;                   \
 170         ba,a,pt %xcc, rtrap_irq;
 171
 172 #endif
 173
 174 #define TRAP_IVEC TRAP_NOSAVE(do_ivec)
 175
 176 #define BTRAP(lvl) TRAP_ARG(bad_trap, lvl)
 177
 178 #define BTRAPTL1(lvl) TRAPTL1_ARG(bad_trap_tl1, lvl)
 179
 180 #define FLUSH_WINDOW_TRAP                                               \
 181         ba,pt   %xcc, etrap;                                            \
 182          rd     %pc, %g7;                                               \
 183         flushw;                                                         \
 184         ldx     [%sp + PTREGS_OFF + PT_V9_TNPC], %l1;                   \
 185         add     %l1, 4, %l2;                                            \
 186         stx     %l1, [%sp + PTREGS_OFF + PT_V9_TPC];                    \
 187         ba,pt   %xcc, rtrap_clr_l6;                                     \
 188          stx    %l2, [%sp + PTREGS_OFF + PT_V9_TNPC];
 189
 190 #ifdef CONFIG_KPROBES
 191 #define KPROBES_TRAP(lvl) TRAP_IRQ(kprobe_trap, lvl)
 192 #else
 193 #define KPROBES_TRAP(lvl) TRAP_ARG(bad_trap, lvl)
 194 #endif
 195
 196 #define SUN4V_ITSB_MISS                                 \
 197         ldxa    [%g0] ASI_SCRATCHPAD, %g2;              \
 198         ldx     [%g2 + HV_FAULT_I_ADDR_OFFSET], %g4;    \
 199         ldx     [%g2 + HV_FAULT_I_CTX_OFFSET], %g5;     \
 200         srlx    %g4, 22, %g6;                           \
 201         ba,pt   %xcc, sun4v_itsb_miss;                  \
 202          nop;                                           \
 203         nop;                                            \
 204         nop;
 205
 206 #define SUN4V_DTSB_MISS                                 \
 207         ldxa    [%g0] ASI_SCRATCHPAD, %g2;              \
 208         ldx     [%g2 + HV_FAULT_D_ADDR_OFFSET], %g4;    \
 209         ldx     [%g2 + HV_FAULT_D_CTX_OFFSET], %g5;     \
 210         srlx    %g4, 22, %g6;                           \
 211         ba,pt   %xcc, sun4v_dtsb_miss;                  \
 212          nop;                                           \
 213         nop;                                            \
 214         nop;
 215
 216 /* Before touching these macros, you owe it to yourself to go and
 217  * see how arch/sparc64/kernel/winfixup.S works... -DaveM
 218  *
 219  * For the user cases we used to use the %asi register, but
 220  * it turns out that the "wr xxx, %asi" costs ~5 cycles, so
 221  * now we use immediate ASI loads and stores instead.  Kudos
 222  * to Greg Onufer for pointing out this performance anomaly.
 223  *
 224  * Further note that we cannot use the g2, g4, g5, and g7 alternate
 225  * globals in the spill routines, check out the save instruction in
 226  * arch/sparc64/kernel/etrap.S to see what I mean about g2, and
 227  * g4/g5 are the globals which are preserved by etrap processing
 228  * for the caller of it.  The g7 register is the return pc for
 229  * etrap.  Finally, g6 is the current thread register so we cannot
 230  * us it in the spill handlers either.  Most of these rules do not
 231  * apply to fill processing, only g6 is not usable.
 232  */
 233
 234 /* Normal kernel spill */
 235 #define SPILL_0_NORMAL                                  \
 236         stx     %l0, [%sp + STACK_BIAS + 0x00];         \
 237         stx     %l1, [%sp + STACK_BIAS + 0x08];         \
 238         stx     %l2, [%sp + STACK_BIAS + 0x10];         \
 239         stx     %l3, [%sp + STACK_BIAS + 0x18];         \
 240         stx     %l4, [%sp + STACK_BIAS + 0x20];         \
 241         stx     %l5, [%sp + STACK_BIAS + 0x28];         \
 242         stx     %l6, [%sp + STACK_BIAS + 0x30];         \
 243         stx     %l7, [%sp + STACK_BIAS + 0x38];         \
 244         stx     %i0, [%sp + STACK_BIAS + 0x40];         \
 245         stx     %i1, [%sp + STACK_BIAS + 0x48];         \
 246         stx     %i2, [%sp + STACK_BIAS + 0x50];         \
 247         stx     %i3, [%sp + STACK_BIAS + 0x58];         \
 248         stx     %i4, [%sp + STACK_BIAS + 0x60];         \
 249         stx     %i5, [%sp + STACK_BIAS + 0x68];         \
 250         stx     %i6, [%sp + STACK_BIAS + 0x70];         \
 251         stx     %i7, [%sp + STACK_BIAS + 0x78];         \
 252         saved; retry; nop; nop; nop; nop; nop; nop;     \
 253         nop; nop; nop; nop; nop; nop; nop; nop;
 254
 255 #define SPILL_0_NORMAL_ETRAP                            \
 256 etrap_kernel_spill:                                     \
 257         stx     %l0, [%sp + STACK_BIAS + 0x00];         \
 258         stx     %l1, [%sp + STACK_BIAS + 0x08];         \
 259         stx     %l2, [%sp + STACK_BIAS + 0x10];         \
 260         stx     %l3, [%sp + STACK_BIAS + 0x18];         \
 261         stx     %l4, [%sp + STACK_BIAS + 0x20];         \
 262         stx     %l5, [%sp + STACK_BIAS + 0x28];         \
 263         stx     %l6, [%sp + STACK_BIAS + 0x30];         \
 264         stx     %l7, [%sp + STACK_BIAS + 0x38];         \
 265         stx     %i0, [%sp + STACK_BIAS + 0x40];         \
 266         stx     %i1, [%sp + STACK_BIAS + 0x48];         \
 267         stx     %i2, [%sp + STACK_BIAS + 0x50];         \
 268         stx     %i3, [%sp + STACK_BIAS + 0x58];         \
 269         stx     %i4, [%sp + STACK_BIAS + 0x60];         \
 270         stx     %i5, [%sp + STACK_BIAS + 0x68];         \
 271         stx     %i6, [%sp + STACK_BIAS + 0x70];         \
 272         stx     %i7, [%sp + STACK_BIAS + 0x78];         \
 273         saved;                                          \
 274         sub     %g1, 2, %g1;                            \
 275         ba,pt   %xcc, etrap_save;                       \
 276         wrpr    %g1, %cwp;                              \
 277         nop; nop; nop; nop; nop; nop; nop; nop;         \
 278         nop; nop; nop; nop;
 279
 280 /* Normal 64bit spill */
 281 #define SPILL_1_GENERIC(ASI)                            \
 282         add     %sp, STACK_BIAS + 0x00, %g1;            \
 283         stxa    %l0, [%g1 + %g0] ASI;                   \
 284         mov     0x08, %g3;                              \
 285         stxa    %l1, [%g1 + %g3] ASI;                   \
 286         add     %g1, 0x10, %g1;                         \
 287         stxa    %l2, [%g1 + %g0] ASI;                   \
 288         stxa    %l3, [%g1 + %g3] ASI;                   \
 289         add     %g1, 0x10, %g1;                         \
 290         stxa    %l4, [%g1 + %g0] ASI;                   \
 291         stxa    %l5, [%g1 + %g3] ASI;                   \
 292         add     %g1, 0x10, %g1;                         \
 293         stxa    %l6, [%g1 + %g0] ASI;                   \
 294         stxa    %l7, [%g1 + %g3] ASI;                   \
 295         add     %g1, 0x10, %g1;                         \
 296         stxa    %i0, [%g1 + %g0] ASI;                   \
 297         stxa    %i1, [%g1 + %g3] ASI;                   \
 298         add     %g1, 0x10, %g1;                         \
 299         stxa    %i2, [%g1 + %g0] ASI;                   \
 300         stxa    %i3, [%g1 + %g3] ASI;                   \
 301         add     %g1, 0x10, %g1;                         \
 302         stxa    %i4, [%g1 + %g0] ASI;                   \
 303         stxa    %i5, [%g1 + %g3] ASI;                   \
 304         add     %g1, 0x10, %g1;                         \
 305         stxa    %i6, [%g1 + %g0] ASI;                   \
 306         stxa    %i7, [%g1 + %g3] ASI;                   \
 307         saved;                                          \
 308         retry; nop; nop;                                \
 309         b,a,pt  %xcc, spill_fixup_dax;                  \
 310         b,a,pt  %xcc, spill_fixup_mna;                  \
 311         b,a,pt  %xcc, spill_fixup;
 312
 313 #define SPILL_1_GENERIC_ETRAP                           \
 314 etrap_user_spill_64bit:                                 \
 315         stxa    %l0, [%sp + STACK_BIAS + 0x00] %asi;    \
 316         stxa    %l1, [%sp + STACK_BIAS + 0x08] %asi;    \
 317         stxa    %l2, [%sp + STACK_BIAS + 0x10] %asi;    \
 318         stxa    %l3, [%sp + STACK_BIAS + 0x18] %asi;    \
 319         stxa    %l4, [%sp + STACK_BIAS + 0x20] %asi;    \
 320         stxa    %l5, [%sp + STACK_BIAS + 0x28] %asi;    \
 321         stxa    %l6, [%sp + STACK_BIAS + 0x30] %asi;    \
 322         stxa    %l7, [%sp + STACK_BIAS + 0x38] %asi;    \
 323         stxa    %i0, [%sp + STACK_BIAS + 0x40] %asi;    \
 324         stxa    %i1, [%sp + STACK_BIAS + 0x48] %asi;    \
 325         stxa    %i2, [%sp + STACK_BIAS + 0x50] %asi;    \
 326         stxa    %i3, [%sp + STACK_BIAS + 0x58] %asi;    \
 327         stxa    %i4, [%sp + STACK_BIAS + 0x60] %asi;    \
 328         stxa    %i5, [%sp + STACK_BIAS + 0x68] %asi;    \
 329         stxa    %i6, [%sp + STACK_BIAS + 0x70] %asi;    \
 330         stxa    %i7, [%sp + STACK_BIAS + 0x78] %asi;    \
 331         saved;                                          \
 332         sub     %g1, 2, %g1;                            \
 333         ba,pt   %xcc, etrap_save;                       \
 334          wrpr   %g1, %cwp;                              \
 335         nop; nop; nop; nop; nop;                        \
 336         nop; nop; nop; nop;                             \
 337         ba,a,pt %xcc, etrap_spill_fixup_64bit;          \
 338         ba,a,pt %xcc, etrap_spill_fixup_64bit;          \
 339         ba,a,pt %xcc, etrap_spill_fixup_64bit;
 340
 341 #define SPILL_1_GENERIC_ETRAP_FIXUP                     \
 342 etrap_spill_fixup_64bit:                                \
 343         ldub    [%g6 + TI_WSAVED], %g1;                 \
 344         sll     %g1, 3, %g3;                            \
 345         add     %g6, %g3, %g3;                          \
 346         stx     %sp, [%g3 + TI_RWIN_SPTRS];             \
 347         sll     %g1, 7, %g3;                            \
 348         add     %g6, %g3, %g3;                          \
 349         stx     %l0, [%g3 + TI_REG_WINDOW + 0x00];      \
 350         stx     %l1, [%g3 + TI_REG_WINDOW + 0x08];      \
 351         stx     %l2, [%g3 + TI_REG_WINDOW + 0x10];      \
 352         stx     %l3, [%g3 + TI_REG_WINDOW + 0x18];      \
 353         stx     %l4, [%g3 + TI_REG_WINDOW + 0x20];      \
 354         stx     %l5, [%g3 + TI_REG_WINDOW + 0x28];      \
 355         stx     %l6, [%g3 + TI_REG_WINDOW + 0x30];      \
 356         stx     %l7, [%g3 + TI_REG_WINDOW + 0x38];      \
 357         stx     %i0, [%g3 + TI_REG_WINDOW + 0x40];      \
 358         stx     %i1, [%g3 + TI_REG_WINDOW + 0x48];      \
 359         stx     %i2, [%g3 + TI_REG_WINDOW + 0x50];      \
 360         stx     %i3, [%g3 + TI_REG_WINDOW + 0x58];      \
 361         stx     %i4, [%g3 + TI_REG_WINDOW + 0x60];      \
 362         stx     %i5, [%g3 + TI_REG_WINDOW + 0x68];      \
 363         stx     %i6, [%g3 + TI_REG_WINDOW + 0x70];      \
 364         stx     %i7, [%g3 + TI_REG_WINDOW + 0x78];      \
 365         add     %g1, 1, %g1;                            \
 366         stb     %g1, [%g6 + TI_WSAVED];                 \
 367         saved;                                          \
 368         rdpr    %cwp, %g1;                              \
 369         sub     %g1, 2, %g1;                            \
 370         ba,pt   %xcc, etrap_save;                       \
 371          wrpr   %g1, %cwp;                              \
 372         nop; nop; nop
 373
 374 /* Normal 32bit spill */
 375 #define SPILL_2_GENERIC(ASI)                            \
 376         srl     %sp, 0, %sp;                            \
 377         stwa    %l0, [%sp + %g0] ASI;                   \
 378         mov     0x04, %g3;                              \
 379         stwa    %l1, [%sp + %g3] ASI;                   \
 380         add     %sp, 0x08, %g1;                         \
 381         stwa    %l2, [%g1 + %g0] ASI;                   \
 382         stwa    %l3, [%g1 + %g3] ASI;                   \
 383         add     %g1, 0x08, %g1;                         \
 384         stwa    %l4, [%g1 + %g0] ASI;                   \
 385         stwa    %l5, [%g1 + %g3] ASI;                   \
 386         add     %g1, 0x08, %g1;                         \
 387         stwa    %l6, [%g1 + %g0] ASI;                   \
 388         stwa    %l7, [%g1 + %g3] ASI;                   \
 389         add     %g1, 0x08, %g1;                         \
 390         stwa    %i0, [%g1 + %g0] ASI;                   \
 391         stwa    %i1, [%g1 + %g3] ASI;                   \
 392         add     %g1, 0x08, %g1;                         \
 393         stwa    %i2, [%g1 + %g0] ASI;                   \
 394         stwa    %i3, [%g1 + %g3] ASI;                   \
 395         add     %g1, 0x08, %g1;                         \
 396         stwa    %i4, [%g1 + %g0] ASI;                   \
 397         stwa    %i5, [%g1 + %g3] ASI;                   \
 398         add     %g1, 0x08, %g1;                         \
 399         stwa    %i6, [%g1 + %g0] ASI;                   \
 400         stwa    %i7, [%g1 + %g3] ASI;                   \
 401         saved;                                          \
 402         retry; nop; nop;                                \
 403         b,a,pt  %xcc, spill_fixup_dax;                  \
 404         b,a,pt  %xcc, spill_fixup_mna;                  \
 405         b,a,pt  %xcc, spill_fixup;
 406
 407 #define SPILL_2_GENERIC_ETRAP           \
 408 etrap_user_spill_32bit:                 \
 409         srl     %sp, 0, %sp;            \
 410         stwa    %l0, [%sp + 0x00] %asi; \
 411         stwa    %l1, [%sp + 0x04] %asi; \
 412         stwa    %l2, [%sp + 0x08] %asi; \
 413         stwa    %l3, [%sp + 0x0c] %asi; \
 414         stwa    %l4, [%sp + 0x10] %asi; \
 415         stwa    %l5, [%sp + 0x14] %asi; \
 416         stwa    %l6, [%sp + 0x18] %asi; \
 417         stwa    %l7, [%sp + 0x1c] %asi; \
 418         stwa    %i0, [%sp + 0x20] %asi; \
 419         stwa    %i1, [%sp + 0x24] %asi; \
 420         stwa    %i2, [%sp + 0x28] %asi; \
 421         stwa    %i3, [%sp + 0x2c] %asi; \
 422         stwa    %i4, [%sp + 0x30] %asi; \
 423         stwa    %i5, [%sp + 0x34] %asi; \
 424         stwa    %i6, [%sp + 0x38] %asi; \
 425         stwa    %i7, [%sp + 0x3c] %asi; \
 426         saved;                          \
 427         sub     %g1, 2, %g1;            \
 428         ba,pt   %xcc, etrap_save;       \
 429          wrpr   %g1, %cwp;              \
 430         nop; nop; nop; nop;             \
 431         nop; nop; nop; nop;             \
 432         ba,a,pt %xcc, etrap_spill_fixup_32bit; \
 433         ba,a,pt %xcc, etrap_spill_fixup_32bit; \
 434         ba,a,pt %xcc, etrap_spill_fixup_32bit;
 435
 436 #define SPILL_2_GENERIC_ETRAP_FIXUP                     \
 437 etrap_spill_fixup_32bit:                                \
 438         ldub    [%g6 + TI_WSAVED], %g1;                 \
 439         sll     %g1, 3, %g3;                            \
 440         add     %g6, %g3, %g3;                          \
 441         stx     %sp, [%g3 + TI_RWIN_SPTRS];             \
 442         sll     %g1, 7, %g3;                            \
 443         add     %g6, %g3, %g3;                          \
 444         stw     %l0, [%g3 + TI_REG_WINDOW + 0x00];      \
 445         stw     %l1, [%g3 + TI_REG_WINDOW + 0x04];      \
 446         stw     %l2, [%g3 + TI_REG_WINDOW + 0x08];      \
 447         stw     %l3, [%g3 + TI_REG_WINDOW + 0x0c];      \
 448         stw     %l4, [%g3 + TI_REG_WINDOW + 0x10];      \
 449         stw     %l5, [%g3 + TI_REG_WINDOW + 0x14];      \
 450         stw     %l6, [%g3 + TI_REG_WINDOW + 0x18];      \
 451         stw     %l7, [%g3 + TI_REG_WINDOW + 0x1c];      \
 452         stw     %i0, [%g3 + TI_REG_WINDOW + 0x20];      \
 453         stw     %i1, [%g3 + TI_REG_WINDOW + 0x24];      \
 454         stw     %i2, [%g3 + TI_REG_WINDOW + 0x28];      \
 455         stw     %i3, [%g3 + TI_REG_WINDOW + 0x2c];      \
 456         stw     %i4, [%g3 + TI_REG_WINDOW + 0x30];      \
 457         stw     %i5, [%g3 + TI_REG_WINDOW + 0x34];      \
 458         stw     %i6, [%g3 + TI_REG_WINDOW + 0x38];      \
 459         stw     %i7, [%g3 + TI_REG_WINDOW + 0x3c];      \
 460         add     %g1, 1, %g1;                            \
 461         stb     %g1, [%g6 + TI_WSAVED];                 \
 462         saved;                                          \
 463         rdpr    %cwp, %g1;                              \
 464         sub     %g1, 2, %g1;                            \
 465         ba,pt   %xcc, etrap_save;                       \
 466          wrpr   %g1, %cwp;                              \
 467         nop; nop; nop
 468
 469 #define SPILL_1_NORMAL SPILL_1_GENERIC(ASI_AIUP)
 470 #define SPILL_2_NORMAL SPILL_2_GENERIC(ASI_AIUP)
 471 #define SPILL_3_NORMAL SPILL_0_NORMAL
 472 #define SPILL_4_NORMAL SPILL_0_NORMAL
 473 #define SPILL_5_NORMAL SPILL_0_NORMAL
 474 #define SPILL_6_NORMAL SPILL_0_NORMAL
 475 #define SPILL_7_NORMAL SPILL_0_NORMAL
 476
 477 #define SPILL_0_OTHER SPILL_0_NORMAL
 478 #define SPILL_1_OTHER SPILL_1_GENERIC(ASI_AIUS)
 479 #define SPILL_2_OTHER SPILL_2_GENERIC(ASI_AIUS)
 480 #define SPILL_3_OTHER SPILL_3_NORMAL
 481 #define SPILL_4_OTHER SPILL_4_NORMAL
 482 #define SPILL_5_OTHER SPILL_5_NORMAL
 483 #define SPILL_6_OTHER SPILL_6_NORMAL
 484 #define SPILL_7_OTHER SPILL_7_NORMAL
 485
 486 /* Normal kernel fill */
 487 #define FILL_0_NORMAL                                   \
 488         ldx     [%sp + STACK_BIAS + 0x00], %l0;         \
 489         ldx     [%sp + STACK_BIAS + 0x08], %l1;         \
 490         ldx     [%sp + STACK_BIAS + 0x10], %l2;         \
 491         ldx     [%sp + STACK_BIAS + 0x18], %l3;         \
 492         ldx     [%sp + STACK_BIAS + 0x20], %l4;         \
 493         ldx     [%sp + STACK_BIAS + 0x28], %l5;         \
 494         ldx     [%sp + STACK_BIAS + 0x30], %l6;         \
 495         ldx     [%sp + STACK_BIAS + 0x38], %l7;         \
 496         ldx     [%sp + STACK_BIAS + 0x40], %i0;         \
 497         ldx     [%sp + STACK_BIAS + 0x48], %i1;         \
 498         ldx     [%sp + STACK_BIAS + 0x50], %i2;         \
 499         ldx     [%sp + STACK_BIAS + 0x58], %i3;         \
 500         ldx     [%sp + STACK_BIAS + 0x60], %i4;         \
 501         ldx     [%sp + STACK_BIAS + 0x68], %i5;         \
 502         ldx     [%sp + STACK_BIAS + 0x70], %i6;         \
 503         ldx     [%sp + STACK_BIAS + 0x78], %i7;         \
 504         restored; retry; nop; nop; nop; nop; nop; nop;  \
 505         nop; nop; nop; nop; nop; nop; nop; nop;
 506
 507 #define FILL_0_NORMAL_RTRAP                             \
 508 kern_rtt_fill:                                          \
 509         rdpr    %cwp, %g1;                              \
 510         sub     %g1, 1, %g1;                            \
 511         wrpr    %g1, %cwp;                              \
 512         ldx     [%sp + STACK_BIAS + 0x00], %l0;         \
 513         ldx     [%sp + STACK_BIAS + 0x08], %l1;         \
 514         ldx     [%sp + STACK_BIAS + 0x10], %l2;         \
 515         ldx     [%sp + STACK_BIAS + 0x18], %l3;         \
 516         ldx     [%sp + STACK_BIAS + 0x20], %l4;         \
 517         ldx     [%sp + STACK_BIAS + 0x28], %l5;         \
 518         ldx     [%sp + STACK_BIAS + 0x30], %l6;         \
 519         ldx     [%sp + STACK_BIAS + 0x38], %l7;         \
 520         ldx     [%sp + STACK_BIAS + 0x40], %i0;         \
 521         ldx     [%sp + STACK_BIAS + 0x48], %i1;         \
 522         ldx     [%sp + STACK_BIAS + 0x50], %i2;         \
 523         ldx     [%sp + STACK_BIAS + 0x58], %i3;         \
 524         ldx     [%sp + STACK_BIAS + 0x60], %i4;         \
 525         ldx     [%sp + STACK_BIAS + 0x68], %i5;         \
 526         ldx     [%sp + STACK_BIAS + 0x70], %i6;         \
 527         ldx     [%sp + STACK_BIAS + 0x78], %i7;         \
 528         restored;                                       \
 529         add     %g1, 1, %g1;                            \
 530         ba,pt   %xcc, kern_rtt_restore;                 \
 531          wrpr   %g1, %cwp;                              \
 532         nop; nop; nop; nop; nop;                        \
 533         nop; nop; nop; nop;
 534
 535
 536 /* Normal 64bit fill */
 537 #define FILL_1_GENERIC(ASI)                             \
 538         add     %sp, STACK_BIAS + 0x00, %g1;            \
 539         ldxa    [%g1 + %g0] ASI, %l0;                   \
 540         mov     0x08, %g2;                              \
 541         mov     0x10, %g3;                              \
 542         ldxa    [%g1 + %g2] ASI, %l1;                   \
 543         mov     0x18, %g5;                              \
 544         ldxa    [%g1 + %g3] ASI, %l2;                   \
 545         ldxa    [%g1 + %g5] ASI, %l3;                   \
 546         add     %g1, 0x20, %g1;                         \
 547         ldxa    [%g1 + %g0] ASI, %l4;                   \
 548         ldxa    [%g1 + %g2] ASI, %l5;                   \
 549         ldxa    [%g1 + %g3] ASI, %l6;                   \
 550         ldxa    [%g1 + %g5] ASI, %l7;                   \
 551         add     %g1, 0x20, %g1;                         \
 552         ldxa    [%g1 + %g0] ASI, %i0;                   \
 553         ldxa    [%g1 + %g2] ASI, %i1;                   \
 554         ldxa    [%g1 + %g3] ASI, %i2;                   \
 555         ldxa    [%g1 + %g5] ASI, %i3;                   \
 556         add     %g1, 0x20, %g1;                         \
 557         ldxa    [%g1 + %g0] ASI, %i4;                   \
 558         ldxa    [%g1 + %g2] ASI, %i5;                   \
 559         ldxa    [%g1 + %g3] ASI, %i6;                   \
 560         ldxa    [%g1 + %g5] ASI, %i7;                   \
 561         restored;                                       \
 562         retry; nop; nop; nop; nop;                      \
 563         b,a,pt  %xcc, fill_fixup_dax;                   \
 564         b,a,pt  %xcc, fill_fixup_mna;                   \
 565         b,a,pt  %xcc, fill_fixup;
 566
 567 #define FILL_1_GENERIC_RTRAP                            \
 568 user_rtt_fill_64bit:                                    \
 569         ldxa    [%sp + STACK_BIAS + 0x00] %asi, %l0;    \
 570         ldxa    [%sp + STACK_BIAS + 0x08] %asi, %l1;    \
 571         ldxa    [%sp + STACK_BIAS + 0x10] %asi, %l2;    \
 572         ldxa    [%sp + STACK_BIAS + 0x18] %asi, %l3;    \
 573         ldxa    [%sp + STACK_BIAS + 0x20] %asi, %l4;    \
 574         ldxa    [%sp + STACK_BIAS + 0x28] %asi, %l5;    \
 575         ldxa    [%sp + STACK_BIAS + 0x30] %asi, %l6;    \
 576         ldxa    [%sp + STACK_BIAS + 0x38] %asi, %l7;    \
 577         ldxa    [%sp + STACK_BIAS + 0x40] %asi, %i0;    \
 578         ldxa    [%sp + STACK_BIAS + 0x48] %asi, %i1;    \
 579         ldxa    [%sp + STACK_BIAS + 0x50] %asi, %i2;    \
 580         ldxa    [%sp + STACK_BIAS + 0x58] %asi, %i3;    \
 581         ldxa    [%sp + STACK_BIAS + 0x60] %asi, %i4;    \
 582         ldxa    [%sp + STACK_BIAS + 0x68] %asi, %i5;    \
 583         ldxa    [%sp + STACK_BIAS + 0x70] %asi, %i6;    \
 584         ldxa    [%sp + STACK_BIAS + 0x78] %asi, %i7;    \
 585         ba,pt   %xcc, user_rtt_pre_restore;             \
 586          restored;                                      \
 587         nop; nop; nop; nop; nop; nop;                   \
 588         nop; nop; nop; nop; nop;                        \
 589         ba,a,pt %xcc, user_rtt_fill_fixup;              \
 590         ba,a,pt %xcc, user_rtt_fill_fixup;              \
 591         ba,a,pt %xcc, user_rtt_fill_fixup;
 592
 593
 594 /* Normal 32bit fill */
 595 #define FILL_2_GENERIC(ASI)                             \
 596         srl     %sp, 0, %sp;                            \
 597         lduwa   [%sp + %g0] ASI, %l0;                   \
 598         mov     0x04, %g2;                              \
 599         mov     0x08, %g3;                              \
 600         lduwa   [%sp + %g2] ASI, %l1;                   \
 601         mov     0x0c, %g5;                              \
 602         lduwa   [%sp + %g3] ASI, %l2;                   \
 603         lduwa   [%sp + %g5] ASI, %l3;                   \
 604         add     %sp, 0x10, %g1;                         \
 605         lduwa   [%g1 + %g0] ASI, %l4;                   \
 606         lduwa   [%g1 + %g2] ASI, %l5;                   \
 607         lduwa   [%g1 + %g3] ASI, %l6;                   \
 608         lduwa   [%g1 + %g5] ASI, %l7;                   \
 609         add     %g1, 0x10, %g1;                         \
 610         lduwa   [%g1 + %g0] ASI, %i0;                   \
 611         lduwa   [%g1 + %g2] ASI, %i1;                   \
 612         lduwa   [%g1 + %g3] ASI, %i2;                   \
 613         lduwa   [%g1 + %g5] ASI, %i3;                   \
 614         add     %g1, 0x10, %g1;                         \
 615         lduwa   [%g1 + %g0] ASI, %i4;                   \
 616         lduwa   [%g1 + %g2] ASI, %i5;                   \
 617         lduwa   [%g1 + %g3] ASI, %i6;                   \
 618         lduwa   [%g1 + %g5] ASI, %i7;                   \
 619         restored;                                       \
 620         retry; nop; nop; nop; nop;                      \
 621         b,a,pt  %xcc, fill_fixup_dax;                   \
 622         b,a,pt  %xcc, fill_fixup_mna;                   \
 623         b,a,pt  %xcc, fill_fixup;
 624
 625 #define FILL_2_GENERIC_RTRAP                            \
 626 user_rtt_fill_32bit:                                    \
 627         srl     %sp, 0, %sp;                            \
 628         lduwa   [%sp + 0x00] %asi, %l0;                 \
 629         lduwa   [%sp + 0x04] %asi, %l1;                 \
 630         lduwa   [%sp + 0x08] %asi, %l2;                 \
 631         lduwa   [%sp + 0x0c] %asi, %l3;                 \
 632         lduwa   [%sp + 0x10] %asi, %l4;                 \
 633         lduwa   [%sp + 0x14] %asi, %l5;                 \
 634         lduwa   [%sp + 0x18] %asi, %l6;                 \
 635         lduwa   [%sp + 0x1c] %asi, %l7;                 \
 636         lduwa   [%sp + 0x20] %asi, %i0;                 \
 637         lduwa   [%sp + 0x24] %asi, %i1;                 \
 638         lduwa   [%sp + 0x28] %asi, %i2;                 \
 639         lduwa   [%sp + 0x2c] %asi, %i3;                 \
 640         lduwa   [%sp + 0x30] %asi, %i4;                 \
 641         lduwa   [%sp + 0x34] %asi, %i5;                 \
 642         lduwa   [%sp + 0x38] %asi, %i6;                 \
 643         lduwa   [%sp + 0x3c] %asi, %i7;                 \
 644         ba,pt   %xcc, user_rtt_pre_restore;             \
 645          restored;                                      \
 646         nop; nop; nop; nop; nop;                        \
 647         nop; nop; nop; nop; nop;                        \
 648         ba,a,pt %xcc, user_rtt_fill_fixup;              \
 649         ba,a,pt %xcc, user_rtt_fill_fixup;              \
 650         ba,a,pt %xcc, user_rtt_fill_fixup;
 651
 652
 653 #define FILL_1_NORMAL FILL_1_GENERIC(ASI_AIUP)
 654 #define FILL_2_NORMAL FILL_2_GENERIC(ASI_AIUP)
 655 #define FILL_3_NORMAL FILL_0_NORMAL
 656 #define FILL_4_NORMAL FILL_0_NORMAL
 657 #define FILL_5_NORMAL FILL_0_NORMAL
 658 #define FILL_6_NORMAL FILL_0_NORMAL
 659 #define FILL_7_NORMAL FILL_0_NORMAL
 660
 661 #define FILL_0_OTHER FILL_0_NORMAL
 662 #define FILL_1_OTHER FILL_1_GENERIC(ASI_AIUS)
 663 #define FILL_2_OTHER FILL_2_GENERIC(ASI_AIUS)
 664 #define FILL_3_OTHER FILL_3_NORMAL
 665 #define FILL_4_OTHER FILL_4_NORMAL
 666 #define FILL_5_OTHER FILL_5_NORMAL
 667 #define FILL_6_OTHER FILL_6_NORMAL
 668 #define FILL_7_OTHER FILL_7_NORMAL
 669
 670 #endif /* !(_SPARC64_TTABLE_H) */