arch/x86/kernel/idt.c

   1 /*
   2  * Interrupt descriptor table related code
   3  *
   4  * This file is licensed under the GPL V2
   5  */
   6 #include <linux/interrupt.h>
   7
   8 #include <asm/traps.h>
   9 #include <asm/proto.h>
  10 #include <asm/desc.h>
  11 #include <asm/hw_irq.h>
  12
  13 struct idt_data {
  14         unsigned int    vector;
  15         unsigned int    segment;
  16         struct idt_bits bits;
  17         const void      *addr;
  18 };
  19
  20 #define DPL0            0x0
  21 #define DPL3            0x3
  22
  23 #define DEFAULT_STACK   0
  24
  25 #define G(_vector, _addr, _ist, _type, _dpl, _segment)  \
  26         {                                               \
  27                 .vector         = _vector,              \
  28                 .bits.ist       = _ist,                 \
  29                 .bits.type      = _type,                \
  30                 .bits.dpl       = _dpl,                 \
  31                 .bits.p         = 1,                    \
  32                 .addr           = _addr,                \
  33                 .segment        = _segment,             \
  34         }
  35
  36 /* Interrupt gate */
  37 #define INTG(_vector, _addr)                            \
  38         G(_vector, _addr, DEFAULT_STACK, GATE_INTERRUPT, DPL0, __KERNEL_CS)
  39
  40 /* System interrupt gate */
  41 #define SYSG(_vector, _addr)                            \
  42         G(_vector, _addr, DEFAULT_STACK, GATE_INTERRUPT, DPL3, __KERNEL_CS)
  43
  44 /* Interrupt gate with interrupt stack */
  45 #define ISTG(_vector, _addr, _ist)                      \
  46         G(_vector, _addr, _ist, GATE_INTERRUPT, DPL0, __KERNEL_CS)
  47
  48 /* Task gate */
  49 #define TSKG(_vector, _gdt)                             \
  50         G(_vector, NULL, DEFAULT_STACK, GATE_TASK, DPL0, _gdt << 3)
  51
  52 /*
  53  * Early traps running on the DEFAULT_STACK because the other interrupt
  54  * stacks work only after cpu_init().
  55  */
  56 static const __initconst struct idt_data early_idts[] = {
  57         INTG(X86_TRAP_DB,               debug),
  58         SYSG(X86_TRAP_BP,               int3),
  59 #ifdef CONFIG_X86_32
  60         INTG(X86_TRAP_PF,               page_fault),
  61 #endif
  62 };
  63
  64 /*
  65  * The default IDT entries which are set up in trap_init() before
  66  * cpu_init() is invoked. Interrupt stacks cannot be used at that point and
  67  * the traps which use them are reinitialized with IST after cpu_init() has
  68  * set up TSS.
  69  */
  70 static const __initconst struct idt_data def_idts[] = {
  71         INTG(X86_TRAP_DE,               divide_error),
  72         INTG(X86_TRAP_NMI,              nmi),
  73         INTG(X86_TRAP_BR,               bounds),
  74         INTG(X86_TRAP_UD,               invalid_op),
  75         INTG(X86_TRAP_NM,               device_not_available),
  76         INTG(X86_TRAP_OLD_MF,           coprocessor_segment_overrun),
  77         INTG(X86_TRAP_TS,               invalid_TSS),
  78         INTG(X86_TRAP_NP,               segment_not_present),
  79         INTG(X86_TRAP_SS,               stack_segment),
  80         INTG(X86_TRAP_GP,               general_protection),
  81         INTG(X86_TRAP_SPURIOUS,         spurious_interrupt_bug),
  82         INTG(X86_TRAP_MF,               coprocessor_error),
  83         INTG(X86_TRAP_AC,               alignment_check),
  84         INTG(X86_TRAP_XF,               simd_coprocessor_error),
  85
  86 #ifdef CONFIG_X86_32
  87         TSKG(X86_TRAP_DF,               GDT_ENTRY_DOUBLEFAULT_TSS),
  88 #else
  89         INTG(X86_TRAP_DF,               double_fault),
  90 #endif
  91         INTG(X86_TRAP_DB,               debug),
  92
  93 #ifdef CONFIG_X86_MCE
  94         INTG(X86_TRAP_MC,               &machine_check),
  95 #endif
  96
  97         SYSG(X86_TRAP_OF,               overflow),
  98 #if defined(CONFIG_IA32_EMULATION)
  99         SYSG(IA32_SYSCALL_VECTOR,       entry_INT80_compat),
 100 #elif defined(CONFIG_X86_32)
 101         SYSG(IA32_SYSCALL_VECTOR,       entry_INT80_32),
 102 #endif
 103 };
 104
 105 /*
 106  * The APIC and SMP idt entries
 107  */
 108 static const __initconst struct idt_data apic_idts[] = {
 109 #ifdef CONFIG_SMP
 110         INTG(RESCHEDULE_VECTOR,         reschedule_interrupt),
 111         INTG(CALL_FUNCTION_VECTOR,      call_function_interrupt),
 112         INTG(CALL_FUNCTION_SINGLE_VECTOR, call_function_single_interrupt),
 113         INTG(IRQ_MOVE_CLEANUP_VECTOR,   irq_move_cleanup_interrupt),
 114         INTG(REBOOT_VECTOR,             reboot_interrupt),
 115 #endif
 116
 117 #ifdef CONFIG_X86_THERMAL_VECTOR
 118         INTG(THERMAL_APIC_VECTOR,       thermal_interrupt),
 119 #endif
 120
 121 #ifdef CONFIG_X86_MCE_THRESHOLD
 122         INTG(THRESHOLD_APIC_VECTOR,     threshold_interrupt),
 123 #endif
 124
 125 #ifdef CONFIG_X86_MCE_AMD
 126         INTG(DEFERRED_ERROR_VECTOR,     deferred_error_interrupt),
 127 #endif
 128
 129 #ifdef CONFIG_X86_LOCAL_APIC
 130         INTG(LOCAL_TIMER_VECTOR,        apic_timer_interrupt),
 131         INTG(X86_PLATFORM_IPI_VECTOR,   x86_platform_ipi),
 132 # ifdef CONFIG_HAVE_KVM
 133         INTG(POSTED_INTR_VECTOR,        kvm_posted_intr_ipi),
 134         INTG(POSTED_INTR_WAKEUP_VECTOR, kvm_posted_intr_wakeup_ipi),
 135         INTG(POSTED_INTR_NESTED_VECTOR, kvm_posted_intr_nested_ipi),
 136 # endif
 137 # ifdef CONFIG_IRQ_WORK
 138         INTG(IRQ_WORK_VECTOR,           irq_work_interrupt),
 139 # endif
 140 #ifdef CONFIG_X86_UV
 141         INTG(UV_BAU_MESSAGE,            uv_bau_message_intr1),
 142 #endif
 143         INTG(SPURIOUS_APIC_VECTOR,      spurious_interrupt),
 144         INTG(ERROR_APIC_VECTOR,         error_interrupt),
 145 #endif
 146 };
 147
 148 #ifdef CONFIG_X86_64
 149 /*
 150  * Early traps running on the DEFAULT_STACK because the other interrupt
 151  * stacks work only after cpu_init().
 152  */
 153 static const __initconst struct idt_data early_pf_idts[] = {
 154         INTG(X86_TRAP_PF,               page_fault),
 155 };
 156
 157 /*
 158  * Override for the debug_idt. Same as the default, but with interrupt
 159  * stack set to DEFAULT_STACK (0). Required for NMI trap handling.
 160  */
 161 static const __initconst struct idt_data dbg_idts[] = {
 162         INTG(X86_TRAP_DB,       debug),
 163 };
 164 #endif
 165
 166 /* Must be page-aligned because the real IDT is used in a fixmap. */
 167 gate_desc idt_table[IDT_ENTRIES] __page_aligned_bss;
 168
 169 struct desc_ptr idt_descr __ro_after_init = {
 170         .size           = (IDT_ENTRIES * 2 * sizeof(unsigned long)) - 1,
 171         .address        = (unsigned long) idt_table,
 172 };
 173
 174 #ifdef CONFIG_X86_64
 175 /* No need to be aligned, but done to keep all IDTs defined the same way. */
 176 gate_desc debug_idt_table[IDT_ENTRIES] __page_aligned_bss;
 177
 178 /*
 179  * The exceptions which use Interrupt stacks. They are setup after
 180  * cpu_init() when the TSS has been initialized.
 181  */
 182 static const __initconst struct idt_data ist_idts[] = {
 183         ISTG(X86_TRAP_DB,       debug,          DEBUG_STACK),
 184         ISTG(X86_TRAP_NMI,      nmi,            NMI_STACK),
 185         ISTG(X86_TRAP_DF,       double_fault,   DOUBLEFAULT_STACK),
 186 #ifdef CONFIG_X86_MCE
 187         ISTG(X86_TRAP_MC,       &machine_check, MCE_STACK),
 188 #endif
 189 };
 190
 191 /*
 192  * Override for the debug_idt. Same as the default, but with interrupt
 193  * stack set to DEFAULT_STACK (0). Required for NMI trap handling.
 194  */
 195 const struct desc_ptr debug_idt_descr = {
 196         .size           = IDT_ENTRIES * 16 - 1,
 197         .address        = (unsigned long) debug_idt_table,
 198 };
 199 #endif
 200
 201 static inline void idt_init_desc(gate_desc *gate, const struct idt_data *d)
 202 {
 203         unsigned long addr = (unsigned long) d->addr;
 204
 205         gate->offset_low        = (u16) addr;
 206         gate->segment           = (u16) d->segment;
 207         gate->bits              = d->bits;
 208         gate->offset_middle     = (u16) (addr >> 16);
 209 #ifdef CONFIG_X86_64
 210         gate->offset_high       = (u32) (addr >> 32);
 211         gate->reserved          = 0;
 212 #endif
 213 }
 214
 215 static void
 216 idt_setup_from_table(gate_desc *idt, const struct idt_data *t, int size, bool sys)
 217 {
 218         gate_desc desc;
 219
 220         for (; size > 0; t++, size--) {
 221                 idt_init_desc(&desc, t);
 222                 write_idt_entry(idt, t->vector, &desc);
 223                 if (sys)
 224                         set_bit(t->vector, system_vectors);
 225         }
 226 }
 227
 228 static void set_intr_gate(unsigned int n, const void *addr)
 229 {
 230         struct idt_data data;
 231
 232         BUG_ON(n > 0xFF);
 233
 234         memset(&data, 0, sizeof(data));
 235         data.vector     = n;
 236         data.addr       = addr;
 237         data.segment    = __KERNEL_CS;
 238         data.bits.type  = GATE_INTERRUPT;
 239         data.bits.p     = 1;
 240
 241         idt_setup_from_table(idt_table, &data, 1, false);
 242 }
 243
 244 /**
 245  * idt_setup_early_traps - Initialize the idt table with early traps
 246  *
 247  * On X8664 these traps do not use interrupt stacks as they can't work
 248  * before cpu_init() is invoked and sets up TSS. The IST variants are
 249  * installed after that.
 250  */
 251 void __init idt_setup_early_traps(void)
 252 {
 253         idt_setup_from_table(idt_table, early_idts, ARRAY_SIZE(early_idts),
 254                              true);
 255         load_idt(&idt_descr);
 256 }
 257
 258 /**
 259  * idt_setup_traps - Initialize the idt table with default traps
 260  */
 261 void __init idt_setup_traps(void)
 262 {
 263         idt_setup_from_table(idt_table, def_idts, ARRAY_SIZE(def_idts), true);
 264 }
 265
 266 #ifdef CONFIG_X86_64
 267 /**
 268  * idt_setup_early_pf - Initialize the idt table with early pagefault handler
 269  *
 270  * On X8664 this does not use interrupt stacks as they can't work before
 271  * cpu_init() is invoked and sets up TSS. The IST variant is installed
 272  * after that.
 273  *
 274  * FIXME: Why is 32bit and 64bit installing the PF handler at different
 275  * places in the early setup code?
 276  */
 277 void __init idt_setup_early_pf(void)
 278 {
 279         idt_setup_from_table(idt_table, early_pf_idts,
 280                              ARRAY_SIZE(early_pf_idts), true);
 281 }
 282
 283 /**
 284  * idt_setup_ist_traps - Initialize the idt table with traps using IST
 285  */
 286 void __init idt_setup_ist_traps(void)
 287 {
 288         idt_setup_from_table(idt_table, ist_idts, ARRAY_SIZE(ist_idts), true);
 289 }
 290
 291 /**
 292  * idt_setup_debugidt_traps - Initialize the debug idt table with debug traps
 293  */
 294 void __init idt_setup_debugidt_traps(void)
 295 {
 296         memcpy(&debug_idt_table, &idt_table, IDT_ENTRIES * 16);
 297
 298         idt_setup_from_table(debug_idt_table, dbg_idts, ARRAY_SIZE(dbg_idts), false);
 299 }
 300 #endif
 301
 302 /**
 303  * idt_setup_apic_and_irq_gates - Setup APIC/SMP and normal interrupt gates
 304  */
 305 void __init idt_setup_apic_and_irq_gates(void)
 306 {
 307         int i = FIRST_EXTERNAL_VECTOR;
 308         void *entry;
 309
 310         idt_setup_from_table(idt_table, apic_idts, ARRAY_SIZE(apic_idts), true);
 311
 312         for_each_clear_bit_from(i, system_vectors, FIRST_SYSTEM_VECTOR) {
 313                 entry = irq_entries_start + 8 * (i - FIRST_EXTERNAL_VECTOR);
 314                 set_intr_gate(i, entry);
 315         }
 316
 317 #ifdef CONFIG_X86_LOCAL_APIC
 318         for_each_clear_bit_from(i, system_vectors, NR_VECTORS) {
 319                 set_bit(i, system_vectors);
 320                 set_intr_gate(i, spurious_interrupt);
 321         }
 322 #endif
 323 }
 324
 325 /**
 326  * idt_setup_early_handler - Initializes the idt table with early handlers
 327  */
 328 void __init idt_setup_early_handler(void)
 329 {
 330         int i;
 331
 332         for (i = 0; i < NUM_EXCEPTION_VECTORS; i++)
 333                 set_intr_gate(i, early_idt_handler_array[i]);
 334 #ifdef CONFIG_X86_32
 335         for ( ; i < NR_VECTORS; i++)
 336                 set_intr_gate(i, early_ignore_irq);
 337 #endif
 338         load_idt(&idt_descr);
 339 }
 340
 341 /**
 342  * idt_invalidate - Invalidate interrupt descriptor table
 343  * @addr:       The virtual address of the 'invalid' IDT
 344  */
 345 void idt_invalidate(void *addr)
 346 {
 347         struct desc_ptr idt = { .address = (unsigned long) addr, .size = 0 };
 348
 349         load_idt(&idt);
 350 }
 351
 352 void __init update_intr_gate(unsigned int n, const void *addr)
 353 {
 354         if (WARN_ON_ONCE(!test_bit(n, system_vectors)))
 355                 return;
 356         set_intr_gate(n, addr);
 357 }
 358
 359 void alloc_intr_gate(unsigned int n, const void *addr)
 360 {
 361         BUG_ON(n < FIRST_SYSTEM_VECTOR);
 362         if (!test_and_set_bit(n, system_vectors))
 363                 set_intr_gate(n, addr);
 364 }