arch/x86/cpu/mtrr.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * (C) Copyright 2014 Google, Inc
   4  *
   5  * Memory Type Range Regsters - these are used to tell the CPU whether
   6  * memory is cacheable and if so the cache write mode to use.
   7  *
   8  * These can speed up booting. See the mtrr command.
   9  *
  10  * Reference: Intel Architecture Software Developer's Manual, Volume 3:
  11  * System Programming
  12  */
  13
  14 /*
  15  * Note that any console output (e.g. debug()) in this file will likely fail
  16  * since the MTRR registers are sometimes in flux.
  17  */
  18
  19 #include <common.h>
  20 #include <asm/io.h>
  21 #include <asm/msr.h>
  22 #include <asm/mtrr.h>
  23
  24 DECLARE_GLOBAL_DATA_PTR;
  25
  26 /* Prepare to adjust MTRRs */
  27 void mtrr_open(struct mtrr_state *state, bool do_caches)
  28 {
  29         if (!gd->arch.has_mtrr)
  30                 return;
  31
  32         if (do_caches) {
  33                 state->enable_cache = dcache_status();
  34
  35                 if (state->enable_cache)
  36                         disable_caches();
  37         }
  38         state->deftype = native_read_msr(MTRR_DEF_TYPE_MSR);
  39         wrmsrl(MTRR_DEF_TYPE_MSR, state->deftype & ~MTRR_DEF_TYPE_EN);
  40 }
  41
  42 /* Clean up after adjusting MTRRs, and enable them */
  43 void mtrr_close(struct mtrr_state *state, bool do_caches)
  44 {
  45         if (!gd->arch.has_mtrr)
  46                 return;
  47
  48         wrmsrl(MTRR_DEF_TYPE_MSR, state->deftype | MTRR_DEF_TYPE_EN);
  49         if (do_caches && state->enable_cache)
  50                 enable_caches();
  51 }
  52
  53 static void set_var_mtrr(uint reg, uint type, uint64_t start, uint64_t size)
  54 {
  55         u64 mask;
  56
  57         wrmsrl(MTRR_PHYS_BASE_MSR(reg), start | type);
  58         mask = ~(size - 1);
  59         mask &= (1ULL << CONFIG_CPU_ADDR_BITS) - 1;
  60         wrmsrl(MTRR_PHYS_MASK_MSR(reg), mask | MTRR_PHYS_MASK_VALID);
  61 }
  62
  63 int mtrr_commit(bool do_caches)
  64 {
  65         struct mtrr_request *req = gd->arch.mtrr_req;
  66         struct mtrr_state state;
  67         int i;
  68
  69         debug("%s: enabled=%d, count=%d\n", __func__, gd->arch.has_mtrr,
  70               gd->arch.mtrr_req_count);
  71         if (!gd->arch.has_mtrr)
  72                 return -ENOSYS;
  73
  74         debug("open\n");
  75         mtrr_open(&state, do_caches);
  76         debug("open done\n");
  77         for (i = 0; i < gd->arch.mtrr_req_count; i++, req++)
  78                 set_var_mtrr(i, req->type, req->start, req->size);
  79
  80         /* Clear the ones that are unused */
  81         debug("clear\n");
  82         for (; i < MTRR_COUNT; i++)
  83                 wrmsrl(MTRR_PHYS_MASK_MSR(i), 0);
  84         debug("close\n");
  85         mtrr_close(&state, do_caches);
  86         debug("mtrr done\n");
  87
  88         return 0;
  89 }
  90
  91 int mtrr_add_request(int type, uint64_t start, uint64_t size)
  92 {
  93         struct mtrr_request *req;
  94         uint64_t mask;
  95
  96         debug("%s: count=%d\n", __func__, gd->arch.mtrr_req_count);
  97         if (!gd->arch.has_mtrr)
  98                 return -ENOSYS;
  99
 100         if (gd->arch.mtrr_req_count == MAX_MTRR_REQUESTS)
 101                 return -ENOSPC;
 102         req = &gd->arch.mtrr_req[gd->arch.mtrr_req_count++];
 103         req->type = type;
 104         req->start = start;
 105         req->size = size;
 106         debug("%d: type=%d, %08llx  %08llx\n", gd->arch.mtrr_req_count - 1,
 107               req->type, req->start, req->size);
 108         mask = ~(req->size - 1);
 109         mask &= (1ULL << CONFIG_CPU_ADDR_BITS) - 1;
 110         mask |= MTRR_PHYS_MASK_VALID;
 111         debug("   %016llx %016llx\n", req->start | req->type, mask);
 112
 113         return 0;
 114 }
 115
 116 static int get_var_mtrr_count(void)
 117 {
 118         return msr_read(MSR_MTRR_CAP_MSR).lo & MSR_MTRR_CAP_VCNT;
 119 }
 120
 121 static int get_free_var_mtrr(void)
 122 {
 123         struct msr_t maskm;
 124         int vcnt;
 125         int i;
 126
 127         vcnt = get_var_mtrr_count();
 128
 129         /* Identify the first var mtrr which is not valid */
 130         for (i = 0; i < vcnt; i++) {
 131                 maskm = msr_read(MTRR_PHYS_MASK_MSR(i));
 132                 if ((maskm.lo & MTRR_PHYS_MASK_VALID) == 0)
 133                         return i;
 134         }
 135
 136         /* No free var mtrr */
 137         return -ENOSPC;
 138 }
 139
 140 int mtrr_set_next_var(uint type, uint64_t start, uint64_t size)
 141 {
 142         int mtrr;
 143
 144         mtrr = get_free_var_mtrr();
 145         if (mtrr < 0)
 146                 return mtrr;
 147
 148         set_var_mtrr(mtrr, type, start, size);
 149         debug("MTRR %x: start=%x, size=%x\n", mtrr, (uint)start, (uint)size);
 150
 151         return 0;
 152 }