573e6d08219860d51bc5843f8e384e403a50abd3
[platform/kernel/u-boot.git] / arch / powerpc / cpu / 74xx_7xx / start.S
1 /*
2  *  Copyright (C) 1998  Dan Malek <dmalek@jlc.net>
3  *  Copyright (C) 1999  Magnus Damm <kieraypc01.p.y.kie.era.ericsson.se>
4  *  Copyright (C) 2000,2001,2002 Wolfgang Denk <wd@denx.de>
5  *  Copyright (C) 2001  Josh Huber <huber@mclx.com>
6  *
7  * See file CREDITS for list of people who contributed to this
8  * project.
9  *
10  * This program is free software; you can redistribute it and/or
11  * modify it under the terms of the GNU General Public License as
12  * published by the Free Software Foundation; either version 2 of
13  * the License, or (at your option) any later version.
14  *
15  * This program is distributed in the hope that it will be useful,
16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  * GNU General Public License for more details.
19  *
20  * You should have received a copy of the GNU General Public License
21  * along with this program; if not, write to the Free Software
22  * Foundation, Inc., 59 Temple Place, Suite 330, Boston,
23  * MA 02111-1307 USA
24  */
25
26 /*  U-Boot - Startup Code for PowerPC based Embedded Boards
27  *
28  *
29  *  The processor starts at 0xfff00100 and the code is executed
30  *  from flash. The code is organized to be at an other address
31  *  in memory, but as long we don't jump around before relocating.
32  *  board_init lies at a quite high address and when the cpu has
33  *  jumped there, everything is ok.
34  */
35 #include <config.h>
36 #include <74xx_7xx.h>
37 #include <timestamp.h>
38 #include <version.h>
39
40 #include <ppc_asm.tmpl>
41 #include <ppc_defs.h>
42
43 #include <asm/cache.h>
44 #include <asm/mmu.h>
45 #include <asm/u-boot.h>
46
47 #if !defined(CONFIG_DB64360) && \
48     !defined(CONFIG_DB64460) && \
49     !defined(CONFIG_CPCI750) && \
50     !defined(CONFIG_P3Mx)
51 #include <galileo/gt64260R.h>
52 #endif
53
54 #ifndef  CONFIG_IDENT_STRING
55 #define  CONFIG_IDENT_STRING ""
56 #endif
57
58 /* We don't want the  MMU yet.
59 */
60 #undef  MSR_KERNEL
61 /* Machine Check and Recoverable Interr. */
62 #define MSR_KERNEL ( MSR_ME | MSR_RI )
63
64 /*
65  * Set up GOT: Global Offset Table
66  *
67  * Use r12 to access the GOT
68  */
69         START_GOT
70         GOT_ENTRY(_GOT2_TABLE_)
71         GOT_ENTRY(_FIXUP_TABLE_)
72
73         GOT_ENTRY(_start)
74         GOT_ENTRY(_start_of_vectors)
75         GOT_ENTRY(_end_of_vectors)
76         GOT_ENTRY(transfer_to_handler)
77
78         GOT_ENTRY(__init_end)
79         GOT_ENTRY(_end)
80         GOT_ENTRY(__bss_start)
81         END_GOT
82
83 /*
84  * r3 - 1st arg to board_init(): IMMP pointer
85  * r4 - 2nd arg to board_init(): boot flag
86  */
87         .text
88         .long   0x27051956              /* U-Boot Magic Number          */
89         .globl  version_string
90 version_string:
91         .ascii  U_BOOT_VERSION
92         .ascii  " (", U_BOOT_DATE, " - ", U_BOOT_TIME, ")"
93         .ascii  CONFIG_IDENT_STRING, "\0"
94
95         . = EXC_OFF_SYS_RESET
96         .globl  _start
97 _start:
98         b       boot_cold
99
100         /* the boot code is located below the exception table */
101
102         .globl  _start_of_vectors
103 _start_of_vectors:
104
105 /* Machine check */
106         STD_EXCEPTION(0x200, MachineCheck, MachineCheckException)
107
108 /* Data Storage exception.  "Never" generated on the 860. */
109         STD_EXCEPTION(0x300, DataStorage, UnknownException)
110
111 /* Instruction Storage exception.  "Never" generated on the 860. */
112         STD_EXCEPTION(0x400, InstStorage, UnknownException)
113
114 /* External Interrupt exception. */
115         STD_EXCEPTION(0x500, ExtInterrupt, external_interrupt)
116
117 /* Alignment exception. */
118         . = 0x600
119 Alignment:
120         EXCEPTION_PROLOG(SRR0, SRR1)
121         mfspr   r4,DAR
122         stw     r4,_DAR(r21)
123         mfspr   r5,DSISR
124         stw     r5,_DSISR(r21)
125         addi    r3,r1,STACK_FRAME_OVERHEAD
126         EXC_XFER_TEMPLATE(Alignment, AlignmentException, MSR_KERNEL, COPY_EE)
127
128 /* Program check exception */
129         . = 0x700
130 ProgramCheck:
131         EXCEPTION_PROLOG(SRR0, SRR1)
132         addi    r3,r1,STACK_FRAME_OVERHEAD
133         EXC_XFER_TEMPLATE(ProgramCheck, ProgramCheckException,
134                 MSR_KERNEL, COPY_EE)
135
136         /* No FPU on MPC8xx.  This exception is not supposed to happen.
137         */
138         STD_EXCEPTION(0x800, FPUnavailable, UnknownException)
139
140         /* I guess we could implement decrementer, and may have
141          * to someday for timekeeping.
142          */
143         STD_EXCEPTION(0x900, Decrementer, timer_interrupt)
144         STD_EXCEPTION(0xa00, Trap_0a, UnknownException)
145         STD_EXCEPTION(0xb00, Trap_0b, UnknownException)
146         STD_EXCEPTION(0xc00, SystemCall, UnknownException)
147         STD_EXCEPTION(0xd00, SingleStep, UnknownException)
148
149         STD_EXCEPTION(0xe00, Trap_0e, UnknownException)
150         STD_EXCEPTION(0xf00, Trap_0f, UnknownException)
151
152         /*
153          * On the MPC8xx, this is a software emulation interrupt. It
154          * occurs for all unimplemented and illegal instructions.
155          */
156         STD_EXCEPTION(0x1000, SoftEmu, SoftEmuException)
157
158         STD_EXCEPTION(0x1100, InstructionTLBMiss, UnknownException)
159         STD_EXCEPTION(0x1200, DataTLBMiss, UnknownException)
160         STD_EXCEPTION(0x1300, InstructionTLBError, UnknownException)
161         STD_EXCEPTION(0x1400, DataTLBError, UnknownException)
162
163         STD_EXCEPTION(0x1500, Reserved5, UnknownException)
164         STD_EXCEPTION(0x1600, Reserved6, UnknownException)
165         STD_EXCEPTION(0x1700, Reserved7, UnknownException)
166         STD_EXCEPTION(0x1800, Reserved8, UnknownException)
167         STD_EXCEPTION(0x1900, Reserved9, UnknownException)
168         STD_EXCEPTION(0x1a00, ReservedA, UnknownException)
169         STD_EXCEPTION(0x1b00, ReservedB, UnknownException)
170
171         STD_EXCEPTION(0x1c00, DataBreakpoint, UnknownException)
172         STD_EXCEPTION(0x1d00, InstructionBreakpoint, UnknownException)
173         STD_EXCEPTION(0x1e00, PeripheralBreakpoint, UnknownException)
174         STD_EXCEPTION(0x1f00, DevPortBreakpoint, UnknownException)
175
176         .globl  _end_of_vectors
177 _end_of_vectors:
178
179         . = 0x2000
180
181 boot_cold:
182         /* disable everything */
183         li      r0, 0
184         mtspr   HID0, r0
185         sync
186         mtmsr   0
187         bl      invalidate_bats
188         sync
189
190 #ifdef CONFIG_SYS_L2
191         /* init the L2 cache */
192         addis   r3, r0, L2_INIT@h
193         ori     r3, r3, L2_INIT@l
194         sync
195         mtspr   l2cr, r3
196 #endif
197 #if defined(CONFIG_ALTIVEC) && defined(CONFIG_74xx)
198         .long   0x7e00066c
199                 /*
200                  * dssall instruction, gas doesn't have it yet
201                  * ...for altivec, data stream stop all this probably
202                  * isn't needed unless we warm (software) reboot U-Boot
203                  */
204 #endif
205
206 #ifdef CONFIG_SYS_L2
207         /* invalidate the L2 cache */
208         bl      l2cache_invalidate
209         sync
210 #endif
211 #ifdef CONFIG_SYS_BOARD_ASM_INIT
212         /* do early init */
213         bl      board_asm_init
214 #endif
215
216         /*
217          * Calculate absolute address in FLASH and jump there
218          *------------------------------------------------------*/
219         lis     r3, CONFIG_SYS_MONITOR_BASE@h
220         ori     r3, r3, CONFIG_SYS_MONITOR_BASE@l
221         addi    r3, r3, in_flash - _start + EXC_OFF_SYS_RESET
222         mtlr    r3
223         blr
224
225 in_flash:
226         /* let the C-code set up the rest                       */
227         /*                                                      */
228         /* Be careful to keep code relocatable !                */
229         /*------------------------------------------------------*/
230
231         /* perform low-level init */
232         /* sdram init, galileo init, etc */
233         /* r3:  NHR bit from HID0 */
234
235         /* setup the bats */
236         bl      setup_bats
237         sync
238
239         /*
240          * Cache must be enabled here for stack-in-cache trick.
241          * This means we need to enable the BATS.
242          * This means:
243          *   1) for the EVB, original gt regs need to be mapped
244          *   2) need to have an IBAT for the 0xf region,
245          *      we are running there!
246          * Cache should be turned on after BATs, since by default
247          * everything is write-through.
248          * The init-mem BAT can be reused after reloc. The old
249          * gt-regs BAT can be reused after board_init_f calls
250          * board_early_init_f (EVB only).
251          */
252 #if !defined(CONFIG_BAB7xx) && !defined(CONFIG_ELPPC) && !defined(CONFIG_P3Mx)
253         /* enable address translation */
254         bl      enable_addr_trans
255         sync
256
257         /* enable and invalidate the data cache */
258         bl      l1dcache_enable
259         sync
260 #endif
261 #ifdef CONFIG_SYS_INIT_RAM_LOCK
262         bl      lock_ram_in_cache
263         sync
264 #endif
265
266         /* set up the stack pointer in our newly created
267          * cache-ram (r1) */
268         lis     r1, (CONFIG_SYS_INIT_RAM_ADDR + CONFIG_SYS_GBL_DATA_OFFSET)@h
269         ori     r1, r1, (CONFIG_SYS_INIT_RAM_ADDR + CONFIG_SYS_GBL_DATA_OFFSET)@l
270
271         li      r0, 0           /* Make room for stack frame header and */
272         stwu    r0, -4(r1)      /* clear final stack frame so that      */
273         stwu    r0, -4(r1)      /* stack backtraces terminate cleanly   */
274
275         GET_GOT                 /* initialize GOT access        */
276
277         /* run low-level CPU init code     (from Flash) */
278         bl      cpu_init_f
279         sync
280
281         /* run 1st part of board init code (from Flash)   */
282         bl      board_init_f
283         sync
284
285         /* NOTREACHED - board_init_f() does not return */
286
287         .globl  invalidate_bats
288 invalidate_bats:
289         /* invalidate BATs */
290         mtspr   IBAT0U, r0
291         mtspr   IBAT1U, r0
292         mtspr   IBAT2U, r0
293         mtspr   IBAT3U, r0
294 #ifdef CONFIG_HIGH_BATS
295         mtspr   IBAT4U, r0
296         mtspr   IBAT5U, r0
297         mtspr   IBAT6U, r0
298         mtspr   IBAT7U, r0
299 #endif
300         isync
301         mtspr   DBAT0U, r0
302         mtspr   DBAT1U, r0
303         mtspr   DBAT2U, r0
304         mtspr   DBAT3U, r0
305 #ifdef CONFIG_HIGH_BATS
306         mtspr   DBAT4U, r0
307         mtspr   DBAT5U, r0
308         mtspr   DBAT6U, r0
309         mtspr   DBAT7U, r0
310 #endif
311         isync
312         sync
313         blr
314
315         /* setup_bats - set them up to some initial state */
316         .globl  setup_bats
317 setup_bats:
318         addis   r0, r0, 0x0000
319
320         /* IBAT 0 */
321         addis   r4, r0, CONFIG_SYS_IBAT0L@h
322         ori     r4, r4, CONFIG_SYS_IBAT0L@l
323         addis   r3, r0, CONFIG_SYS_IBAT0U@h
324         ori     r3, r3, CONFIG_SYS_IBAT0U@l
325         mtspr   IBAT0L, r4
326         mtspr   IBAT0U, r3
327         isync
328
329         /* DBAT 0 */
330         addis   r4, r0, CONFIG_SYS_DBAT0L@h
331         ori     r4, r4, CONFIG_SYS_DBAT0L@l
332         addis   r3, r0, CONFIG_SYS_DBAT0U@h
333         ori     r3, r3, CONFIG_SYS_DBAT0U@l
334         mtspr   DBAT0L, r4
335         mtspr   DBAT0U, r3
336         isync
337
338         /* IBAT 1 */
339         addis   r4, r0, CONFIG_SYS_IBAT1L@h
340         ori     r4, r4, CONFIG_SYS_IBAT1L@l
341         addis   r3, r0, CONFIG_SYS_IBAT1U@h
342         ori     r3, r3, CONFIG_SYS_IBAT1U@l
343         mtspr   IBAT1L, r4
344         mtspr   IBAT1U, r3
345         isync
346
347         /* DBAT 1 */
348         addis   r4, r0, CONFIG_SYS_DBAT1L@h
349         ori     r4, r4, CONFIG_SYS_DBAT1L@l
350         addis   r3, r0, CONFIG_SYS_DBAT1U@h
351         ori     r3, r3, CONFIG_SYS_DBAT1U@l
352         mtspr   DBAT1L, r4
353         mtspr   DBAT1U, r3
354         isync
355
356         /* IBAT 2 */
357         addis   r4, r0, CONFIG_SYS_IBAT2L@h
358         ori     r4, r4, CONFIG_SYS_IBAT2L@l
359         addis   r3, r0, CONFIG_SYS_IBAT2U@h
360         ori     r3, r3, CONFIG_SYS_IBAT2U@l
361         mtspr   IBAT2L, r4
362         mtspr   IBAT2U, r3
363         isync
364
365         /* DBAT 2 */
366         addis   r4, r0, CONFIG_SYS_DBAT2L@h
367         ori     r4, r4, CONFIG_SYS_DBAT2L@l
368         addis   r3, r0, CONFIG_SYS_DBAT2U@h
369         ori     r3, r3, CONFIG_SYS_DBAT2U@l
370         mtspr   DBAT2L, r4
371         mtspr   DBAT2U, r3
372         isync
373
374         /* IBAT 3 */
375         addis   r4, r0, CONFIG_SYS_IBAT3L@h
376         ori     r4, r4, CONFIG_SYS_IBAT3L@l
377         addis   r3, r0, CONFIG_SYS_IBAT3U@h
378         ori     r3, r3, CONFIG_SYS_IBAT3U@l
379         mtspr   IBAT3L, r4
380         mtspr   IBAT3U, r3
381         isync
382
383         /* DBAT 3 */
384         addis   r4, r0, CONFIG_SYS_DBAT3L@h
385         ori     r4, r4, CONFIG_SYS_DBAT3L@l
386         addis   r3, r0, CONFIG_SYS_DBAT3U@h
387         ori     r3, r3, CONFIG_SYS_DBAT3U@l
388         mtspr   DBAT3L, r4
389         mtspr   DBAT3U, r3
390         isync
391
392 #ifdef CONFIG_HIGH_BATS
393         /* IBAT 4 */
394         addis   r4, r0, CONFIG_SYS_IBAT4L@h
395         ori     r4, r4, CONFIG_SYS_IBAT4L@l
396         addis   r3, r0, CONFIG_SYS_IBAT4U@h
397         ori     r3, r3, CONFIG_SYS_IBAT4U@l
398         mtspr   IBAT4L, r4
399         mtspr   IBAT4U, r3
400         isync
401
402         /* DBAT 4 */
403         addis   r4, r0, CONFIG_SYS_DBAT4L@h
404         ori     r4, r4, CONFIG_SYS_DBAT4L@l
405         addis   r3, r0, CONFIG_SYS_DBAT4U@h
406         ori     r3, r3, CONFIG_SYS_DBAT4U@l
407         mtspr   DBAT4L, r4
408         mtspr   DBAT4U, r3
409         isync
410
411         /* IBAT 5 */
412         addis   r4, r0, CONFIG_SYS_IBAT5L@h
413         ori     r4, r4, CONFIG_SYS_IBAT5L@l
414         addis   r3, r0, CONFIG_SYS_IBAT5U@h
415         ori     r3, r3, CONFIG_SYS_IBAT5U@l
416         mtspr   IBAT5L, r4
417         mtspr   IBAT5U, r3
418         isync
419
420         /* DBAT 5 */
421         addis   r4, r0, CONFIG_SYS_DBAT5L@h
422         ori     r4, r4, CONFIG_SYS_DBAT5L@l
423         addis   r3, r0, CONFIG_SYS_DBAT5U@h
424         ori     r3, r3, CONFIG_SYS_DBAT5U@l
425         mtspr   DBAT5L, r4
426         mtspr   DBAT5U, r3
427         isync
428
429         /* IBAT 6 */
430         addis   r4, r0, CONFIG_SYS_IBAT6L@h
431         ori     r4, r4, CONFIG_SYS_IBAT6L@l
432         addis   r3, r0, CONFIG_SYS_IBAT6U@h
433         ori     r3, r3, CONFIG_SYS_IBAT6U@l
434         mtspr   IBAT6L, r4
435         mtspr   IBAT6U, r3
436         isync
437
438         /* DBAT 6 */
439         addis   r4, r0, CONFIG_SYS_DBAT6L@h
440         ori     r4, r4, CONFIG_SYS_DBAT6L@l
441         addis   r3, r0, CONFIG_SYS_DBAT6U@h
442         ori     r3, r3, CONFIG_SYS_DBAT6U@l
443         mtspr   DBAT6L, r4
444         mtspr   DBAT6U, r3
445         isync
446
447         /* IBAT 7 */
448         addis   r4, r0, CONFIG_SYS_IBAT7L@h
449         ori     r4, r4, CONFIG_SYS_IBAT7L@l
450         addis   r3, r0, CONFIG_SYS_IBAT7U@h
451         ori     r3, r3, CONFIG_SYS_IBAT7U@l
452         mtspr   IBAT7L, r4
453         mtspr   IBAT7U, r3
454         isync
455
456         /* DBAT 7 */
457         addis   r4, r0, CONFIG_SYS_DBAT7L@h
458         ori     r4, r4, CONFIG_SYS_DBAT7L@l
459         addis   r3, r0, CONFIG_SYS_DBAT7U@h
460         ori     r3, r3, CONFIG_SYS_DBAT7U@l
461         mtspr   DBAT7L, r4
462         mtspr   DBAT7U, r3
463         isync
464 #endif
465
466         /* bats are done, now invalidate the TLBs */
467
468         addis   r3, 0, 0x0000
469         addis   r5, 0, 0x4    /* upper bound of 0x00040000 for 7400/750 */
470
471         isync
472
473 tlblp:
474         tlbie   r3
475         sync
476         addi    r3, r3, 0x1000
477         cmp     0, 0, r3, r5
478         blt tlblp
479
480         blr
481
482         .globl enable_addr_trans
483 enable_addr_trans:
484         /* enable address translation */
485         mfmsr   r5
486         ori     r5, r5, (MSR_IR | MSR_DR)
487         mtmsr   r5
488         isync
489         blr
490
491         .globl disable_addr_trans
492 disable_addr_trans:
493         /* disable address translation */
494         mflr    r4
495         mfmsr   r3
496         andi.   r0, r3, (MSR_IR | MSR_DR)
497         beqlr
498         andc    r3, r3, r0
499         mtspr   SRR0, r4
500         mtspr   SRR1, r3
501         rfi
502
503 /*
504  * This code finishes saving the registers to the exception frame
505  * and jumps to the appropriate handler for the exception.
506  * Register r21 is pointer into trap frame, r1 has new stack pointer.
507  */
508         .globl  transfer_to_handler
509 transfer_to_handler:
510         stw     r22,_NIP(r21)
511         lis     r22,MSR_POW@h
512         andc    r23,r23,r22
513         stw     r23,_MSR(r21)
514         SAVE_GPR(7, r21)
515         SAVE_4GPRS(8, r21)
516         SAVE_8GPRS(12, r21)
517         SAVE_8GPRS(24, r21)
518         mflr    r23
519         andi.   r24,r23,0x3f00          /* get vector offset */
520         stw     r24,TRAP(r21)
521         li      r22,0
522         stw     r22,RESULT(r21)
523         mtspr   SPRG2,r22               /* r1 is now kernel sp */
524         lwz     r24,0(r23)              /* virtual address of handler */
525         lwz     r23,4(r23)              /* where to go when done */
526         mtspr   SRR0,r24
527         mtspr   SRR1,r20
528         mtlr    r23
529         SYNC
530         rfi                             /* jump to handler, enable MMU */
531
532 int_return:
533         mfmsr   r28             /* Disable interrupts */
534         li      r4,0
535         ori     r4,r4,MSR_EE
536         andc    r28,r28,r4
537         SYNC                    /* Some chip revs need this... */
538         mtmsr   r28
539         SYNC
540         lwz     r2,_CTR(r1)
541         lwz     r0,_LINK(r1)
542         mtctr   r2
543         mtlr    r0
544         lwz     r2,_XER(r1)
545         lwz     r0,_CCR(r1)
546         mtspr   XER,r2
547         mtcrf   0xFF,r0
548         REST_10GPRS(3, r1)
549         REST_10GPRS(13, r1)
550         REST_8GPRS(23, r1)
551         REST_GPR(31, r1)
552         lwz     r2,_NIP(r1)     /* Restore environment */
553         lwz     r0,_MSR(r1)
554         mtspr   SRR0,r2
555         mtspr   SRR1,r0
556         lwz     r0,GPR0(r1)
557         lwz     r2,GPR2(r1)
558         lwz     r1,GPR1(r1)
559         SYNC
560         rfi
561
562         .globl  dc_read
563 dc_read:
564         blr
565
566         .globl get_pvr
567 get_pvr:
568         mfspr   r3, PVR
569         blr
570
571 /*-----------------------------------------------------------------------*/
572 /*
573  * void relocate_code (addr_sp, gd, addr_moni)
574  *
575  * This "function" does not return, instead it continues in RAM
576  * after relocating the monitor code.
577  *
578  * r3 = dest
579  * r4 = src
580  * r5 = length in bytes
581  * r6 = cachelinesize
582  */
583         .globl  relocate_code
584 relocate_code:
585         mr      r1,  r3         /* Set new stack pointer                */
586         mr      r9,  r4         /* Save copy of Global Data pointer     */
587         mr      r10, r5         /* Save copy of Destination Address     */
588
589         GET_GOT
590         mr      r3,  r5                         /* Destination Address  */
591         lis     r4, CONFIG_SYS_MONITOR_BASE@h           /* Source      Address  */
592         ori     r4, r4, CONFIG_SYS_MONITOR_BASE@l
593         lwz     r5, GOT(__init_end)
594         sub     r5, r5, r4
595         li      r6, CONFIG_SYS_CACHELINE_SIZE           /* Cache Line Size      */
596
597         /*
598          * Fix GOT pointer:
599          *
600          * New GOT-PTR = (old GOT-PTR - CONFIG_SYS_MONITOR_BASE) + Destination Address
601          *
602          * Offset:
603          */
604         sub     r15, r10, r4
605
606         /* First our own GOT */
607         add     r12, r12, r15
608         /* then the one used by the C code */
609         add     r30, r30, r15
610
611         /*
612          * Now relocate code
613          */
614 #ifdef CONFIG_ECC
615         bl      board_relocate_rom
616         sync
617         mr      r3, r10                         /* Destination Address  */
618         lis     r4, CONFIG_SYS_MONITOR_BASE@h           /* Source      Address  */
619         ori     r4, r4, CONFIG_SYS_MONITOR_BASE@l
620         lwz     r5, GOT(__init_end)
621         sub     r5, r5, r4
622         li      r6, CONFIG_SYS_CACHELINE_SIZE           /* Cache Line Size      */
623 #else
624         cmplw   cr1,r3,r4
625         addi    r0,r5,3
626         srwi.   r0,r0,2
627         beq     cr1,4f          /* In place copy is not necessary       */
628         beq     7f              /* Protect against 0 count              */
629         mtctr   r0
630         bge     cr1,2f
631
632         la      r8,-4(r4)
633         la      r7,-4(r3)
634 1:      lwzu    r0,4(r8)
635         stwu    r0,4(r7)
636         bdnz    1b
637         b       4f
638
639 2:      slwi    r0,r0,2
640         add     r8,r4,r0
641         add     r7,r3,r0
642 3:      lwzu    r0,-4(r8)
643         stwu    r0,-4(r7)
644         bdnz    3b
645 #endif
646 /*
647  * Now flush the cache: note that we must start from a cache aligned
648  * address. Otherwise we might miss one cache line.
649  */
650 4:      cmpwi   r6,0
651         add     r5,r3,r5
652         beq     7f              /* Always flush prefetch queue in any case */
653         subi    r0,r6,1
654         andc    r3,r3,r0
655         mr      r4,r3
656 5:      dcbst   0,r4
657         add     r4,r4,r6
658         cmplw   r4,r5
659         blt     5b
660         sync                    /* Wait for all dcbst to complete on bus */
661         mr      r4,r3
662 6:      icbi    0,r4
663         add     r4,r4,r6
664         cmplw   r4,r5
665         blt     6b
666 7:      sync                    /* Wait for all icbi to complete on bus */
667         isync
668
669 /*
670  * We are done. Do not return, instead branch to second part of board
671  * initialization, now running from RAM.
672  */
673         addi    r0, r10, in_ram - _start + EXC_OFF_SYS_RESET
674         mtlr    r0
675         blr
676
677 in_ram:
678 #ifdef CONFIG_ECC
679         bl      board_init_ecc
680 #endif
681         /*
682          * Relocation Function, r12 point to got2+0x8000
683          *
684          * Adjust got2 pointers, no need to check for 0, this code
685          * already puts a few entries in the table.
686          */
687         li      r0,__got2_entries@sectoff@l
688         la      r3,GOT(_GOT2_TABLE_)
689         lwz     r11,GOT(_GOT2_TABLE_)
690         mtctr   r0
691         sub     r11,r3,r11
692         addi    r3,r3,-4
693 1:      lwzu    r0,4(r3)
694         cmpwi   r0,0
695         beq-    2f
696         add     r0,r0,r11
697         stw     r0,0(r3)
698 2:      bdnz    1b
699
700         /*
701          * Now adjust the fixups and the pointers to the fixups
702          * in case we need to move ourselves again.
703          */
704         li      r0,__fixup_entries@sectoff@l
705         lwz     r3,GOT(_FIXUP_TABLE_)
706         cmpwi   r0,0
707         mtctr   r0
708         addi    r3,r3,-4
709         beq     4f
710 3:      lwzu    r4,4(r3)
711         lwzux   r0,r4,r11
712         cmpwi   r0,0
713         add     r0,r0,r11
714         stw     r10,0(r3)
715         beq-    5f
716         stw     r0,0(r4)
717 5:      bdnz    3b
718 4:
719 /* clear_bss: */
720         /*
721          * Now clear BSS segment
722          */
723         lwz     r3,GOT(__bss_start)
724         lwz     r4,GOT(_end)
725
726         cmplw   0, r3, r4
727         beq     6f
728
729         li      r0, 0
730 5:
731         stw     r0, 0(r3)
732         addi    r3, r3, 4
733         cmplw   0, r3, r4
734         bne     5b
735 6:
736         mr      r3, r10         /* Destination Address          */
737 #if defined(CONFIG_DB64360)     || \
738     defined(CONFIG_DB64460)     || \
739     defined(CONFIG_CPCI750)     || \
740     defined(CONFIG_PPMC7XX)     || \
741     defined(CONFIG_P3Mx)
742         mr      r4, r9          /* Use RAM copy of the global data */
743 #endif
744         bl      after_reloc
745
746         /* not reached - end relocate_code */
747 /*-----------------------------------------------------------------------*/
748
749         /*
750          * Copy exception vector code to low memory
751          *
752          * r3: dest_addr
753          * r7: source address, r8: end address, r9: target address
754          */
755         .globl  trap_init
756 trap_init:
757         mflr    r4                      /* save link register           */
758         GET_GOT
759         lwz     r7, GOT(_start)
760         lwz     r8, GOT(_end_of_vectors)
761
762         li      r9, 0x100               /* reset vector always at 0x100 */
763
764         cmplw   0, r7, r8
765         bgelr                           /* return if r7>=r8 - just in case */
766 1:
767         lwz     r0, 0(r7)
768         stw     r0, 0(r9)
769         addi    r7, r7, 4
770         addi    r9, r9, 4
771         cmplw   0, r7, r8
772         bne     1b
773
774         /*
775          * relocate `hdlr' and `int_return' entries
776          */
777         li      r7, .L_MachineCheck - _start + EXC_OFF_SYS_RESET
778         li      r8, Alignment - _start + EXC_OFF_SYS_RESET
779 2:
780         bl      trap_reloc
781         addi    r7, r7, 0x100           /* next exception vector        */
782         cmplw   0, r7, r8
783         blt     2b
784
785         li      r7, .L_Alignment - _start + EXC_OFF_SYS_RESET
786         bl      trap_reloc
787
788         li      r7, .L_ProgramCheck - _start + EXC_OFF_SYS_RESET
789         bl      trap_reloc
790
791         li      r7, .L_FPUnavailable - _start + EXC_OFF_SYS_RESET
792         li      r8, SystemCall - _start + EXC_OFF_SYS_RESET
793 3:
794         bl      trap_reloc
795         addi    r7, r7, 0x100           /* next exception vector        */
796         cmplw   0, r7, r8
797         blt     3b
798
799         li      r7, .L_SingleStep - _start + EXC_OFF_SYS_RESET
800         li      r8, _end_of_vectors - _start + EXC_OFF_SYS_RESET
801 4:
802         bl      trap_reloc
803         addi    r7, r7, 0x100           /* next exception vector        */
804         cmplw   0, r7, r8
805         blt     4b
806
807         /* enable execptions from RAM vectors */
808         mfmsr   r7
809         li      r8,MSR_IP
810         andc    r7,r7,r8
811         mtmsr   r7
812
813         mtlr    r4                      /* restore link register        */
814         blr
815
816 #ifdef CONFIG_SYS_INIT_RAM_LOCK
817 lock_ram_in_cache:
818         /* Allocate Initial RAM in data cache.
819          */
820         lis     r3, (CONFIG_SYS_INIT_RAM_ADDR & ~31)@h
821         ori     r3, r3, (CONFIG_SYS_INIT_RAM_ADDR & ~31)@l
822         li      r4, ((CONFIG_SYS_INIT_RAM_END & ~31) + \
823                      (CONFIG_SYS_INIT_RAM_ADDR & 31) + 31) / 32
824         mtctr   r4
825 1:
826         dcbz    r0, r3
827         addi    r3, r3, 32
828         bdnz    1b
829
830         /* Lock the data cache */
831         mfspr   r0, HID0
832         ori     r0, r0, 0x1000
833         sync
834         mtspr   HID0, r0
835         sync
836         blr
837
838 .globl unlock_ram_in_cache
839 unlock_ram_in_cache:
840         /* invalidate the INIT_RAM section */
841         lis     r3, (CONFIG_SYS_INIT_RAM_ADDR & ~31)@h
842         ori     r3, r3, (CONFIG_SYS_INIT_RAM_ADDR & ~31)@l
843         li      r4, ((CONFIG_SYS_INIT_RAM_END & ~31) + \
844                      (CONFIG_SYS_INIT_RAM_ADDR & 31) + 31) / 32
845         mtctr   r4
846 1:      icbi    r0, r3
847         addi    r3, r3, 32
848         bdnz    1b
849         sync                    /* Wait for all icbi to complete on bus */
850         isync
851
852         /* Unlock the data cache and invalidate it */
853         mfspr   r0, HID0
854         li      r3,0x1000
855         andc    r0,r0,r3
856         li      r3,0x0400
857         or      r0,r0,r3
858         sync
859         mtspr   HID0, r0
860         sync
861         blr
862 #endif