drivers/acpi/apei/erst.c

   1 /*
   2  * APEI Error Record Serialization Table support
   3  *
   4  * ERST is a way provided by APEI to save and retrieve hardware error
   5  * information to and from a persistent store.
   6  *
   7  * For more information about ERST, please refer to ACPI Specification
   8  * version 4.0, section 17.4.
   9  *
  10  * Copyright 2010 Intel Corp.
  11  *   Author: Huang Ying <ying.huang@intel.com>
  12  *
  13  * This program is free software; you can redistribute it and/or
  14  * modify it under the terms of the GNU General Public License version
  15  * 2 as published by the Free Software Foundation.
  16  *
  17  * This program is distributed in the hope that it will be useful,
  18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20  * GNU General Public License for more details.
  21  *
  22  * You should have received a copy of the GNU General Public License
  23  * along with this program; if not, write to the Free Software
  24  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  25  */
  26
  27 #include <linux/kernel.h>
  28 #include <linux/module.h>
  29 #include <linux/init.h>
  30 #include <linux/delay.h>
  31 #include <linux/io.h>
  32 #include <linux/acpi.h>
  33 #include <linux/uaccess.h>
  34 #include <linux/cper.h>
  35 #include <linux/nmi.h>
  36 #include <linux/hardirq.h>
  37 #include <linux/pstore.h>
  38 #include <acpi/apei.h>
  39
  40 #include "apei-internal.h"
  41
  42 #define ERST_PFX "ERST: "
  43
  44 /* ERST command status */
  45 #define ERST_STATUS_SUCCESS                     0x0
  46 #define ERST_STATUS_NOT_ENOUGH_SPACE            0x1
  47 #define ERST_STATUS_HARDWARE_NOT_AVAILABLE      0x2
  48 #define ERST_STATUS_FAILED                      0x3
  49 #define ERST_STATUS_RECORD_STORE_EMPTY          0x4
  50 #define ERST_STATUS_RECORD_NOT_FOUND            0x5
  51
  52 #define ERST_TAB_ENTRY(tab)                                             \
  53         ((struct acpi_whea_header *)((char *)(tab) +                    \
  54                                      sizeof(struct acpi_table_erst)))
  55
  56 #define SPIN_UNIT               100                     /* 100ns */
  57 /* Firmware should respond within 1 milliseconds */
  58 #define FIRMWARE_TIMEOUT        (1 * NSEC_PER_MSEC)
  59 #define FIRMWARE_MAX_STALL      50                      /* 50us */
  60
  61 int erst_disable;
  62 EXPORT_SYMBOL_GPL(erst_disable);
  63
  64 static struct acpi_table_erst *erst_tab;
  65
  66 /* ERST Error Log Address Range atrributes */
  67 #define ERST_RANGE_RESERVED     0x0001
  68 #define ERST_RANGE_NVRAM        0x0002
  69 #define ERST_RANGE_SLOW         0x0004
  70
  71 /*
  72  * ERST Error Log Address Range, used as buffer for reading/writing
  73  * error records.
  74  */
  75 static struct erst_erange {
  76         u64 base;
  77         u64 size;
  78         void __iomem *vaddr;
  79         u32 attr;
  80 } erst_erange;
  81
  82 /*
  83  * Prevent ERST interpreter to run simultaneously, because the
  84  * corresponding firmware implementation may not work properly when
  85  * invoked simultaneously.
  86  *
  87  * It is used to provide exclusive accessing for ERST Error Log
  88  * Address Range too.
  89  */
  90 static DEFINE_RAW_SPINLOCK(erst_lock);
  91
  92 static inline int erst_errno(int command_status)
  93 {
  94         switch (command_status) {
  95         case ERST_STATUS_SUCCESS:
  96                 return 0;
  97         case ERST_STATUS_HARDWARE_NOT_AVAILABLE:
  98                 return -ENODEV;
  99         case ERST_STATUS_NOT_ENOUGH_SPACE:
 100                 return -ENOSPC;
 101         case ERST_STATUS_RECORD_STORE_EMPTY:
 102         case ERST_STATUS_RECORD_NOT_FOUND:
 103                 return -ENOENT;
 104         default:
 105                 return -EINVAL;
 106         }
 107 }
 108
 109 static int erst_timedout(u64 *t, u64 spin_unit)
 110 {
 111         if ((s64)*t < spin_unit) {
 112                 pr_warning(FW_WARN ERST_PFX
 113                            "Firmware does not respond in time\n");
 114                 return 1;
 115         }
 116         *t -= spin_unit;
 117         ndelay(spin_unit);
 118         touch_nmi_watchdog();
 119         return 0;
 120 }
 121
 122 static int erst_exec_load_var1(struct apei_exec_context *ctx,
 123                                struct acpi_whea_header *entry)
 124 {
 125         return __apei_exec_read_register(entry, &ctx->var1);
 126 }
 127
 128 static int erst_exec_load_var2(struct apei_exec_context *ctx,
 129                                struct acpi_whea_header *entry)
 130 {
 131         return __apei_exec_read_register(entry, &ctx->var2);
 132 }
 133
 134 static int erst_exec_store_var1(struct apei_exec_context *ctx,
 135                                 struct acpi_whea_header *entry)
 136 {
 137         return __apei_exec_write_register(entry, ctx->var1);
 138 }
 139
 140 static int erst_exec_add(struct apei_exec_context *ctx,
 141                          struct acpi_whea_header *entry)
 142 {
 143         ctx->var1 += ctx->var2;
 144         return 0;
 145 }
 146
 147 static int erst_exec_subtract(struct apei_exec_context *ctx,
 148                               struct acpi_whea_header *entry)
 149 {
 150         ctx->var1 -= ctx->var2;
 151         return 0;
 152 }
 153
 154 static int erst_exec_add_value(struct apei_exec_context *ctx,
 155                                struct acpi_whea_header *entry)
 156 {
 157         int rc;
 158         u64 val;
 159
 160         rc = __apei_exec_read_register(entry, &val);
 161         if (rc)
 162                 return rc;
 163         val += ctx->value;
 164         rc = __apei_exec_write_register(entry, val);
 165         return rc;
 166 }
 167
 168 static int erst_exec_subtract_value(struct apei_exec_context *ctx,
 169                                     struct acpi_whea_header *entry)
 170 {
 171         int rc;
 172         u64 val;
 173
 174         rc = __apei_exec_read_register(entry, &val);
 175         if (rc)
 176                 return rc;
 177         val -= ctx->value;
 178         rc = __apei_exec_write_register(entry, val);
 179         return rc;
 180 }
 181
 182 static int erst_exec_stall(struct apei_exec_context *ctx,
 183                            struct acpi_whea_header *entry)
 184 {
 185         u64 stall_time;
 186
 187         if (ctx->value > FIRMWARE_MAX_STALL) {
 188                 if (!in_nmi())
 189                         pr_warning(FW_WARN ERST_PFX
 190                         "Too long stall time for stall instruction: %llx.\n",
 191                                    ctx->value);
 192                 stall_time = FIRMWARE_MAX_STALL;
 193         } else
 194                 stall_time = ctx->value;
 195         udelay(stall_time);
 196         return 0;
 197 }
 198
 199 static int erst_exec_stall_while_true(struct apei_exec_context *ctx,
 200                                       struct acpi_whea_header *entry)
 201 {
 202         int rc;
 203         u64 val;
 204         u64 timeout = FIRMWARE_TIMEOUT;
 205         u64 stall_time;
 206
 207         if (ctx->var1 > FIRMWARE_MAX_STALL) {
 208                 if (!in_nmi())
 209                         pr_warning(FW_WARN ERST_PFX
 210                 "Too long stall time for stall while true instruction: %llx.\n",
 211                                    ctx->var1);
 212                 stall_time = FIRMWARE_MAX_STALL;
 213         } else
 214                 stall_time = ctx->var1;
 215
 216         for (;;) {
 217                 rc = __apei_exec_read_register(entry, &val);
 218                 if (rc)
 219                         return rc;
 220                 if (val != ctx->value)
 221                         break;
 222                 if (erst_timedout(&timeout, stall_time * NSEC_PER_USEC))
 223                         return -EIO;
 224         }
 225         return 0;
 226 }
 227
 228 static int erst_exec_skip_next_instruction_if_true(
 229         struct apei_exec_context *ctx,
 230         struct acpi_whea_header *entry)
 231 {
 232         int rc;
 233         u64 val;
 234
 235         rc = __apei_exec_read_register(entry, &val);
 236         if (rc)
 237                 return rc;
 238         if (val == ctx->value) {
 239                 ctx->ip += 2;
 240                 return APEI_EXEC_SET_IP;
 241         }
 242
 243         return 0;
 244 }
 245
 246 static int erst_exec_goto(struct apei_exec_context *ctx,
 247                           struct acpi_whea_header *entry)
 248 {
 249         ctx->ip = ctx->value;
 250         return APEI_EXEC_SET_IP;
 251 }
 252
 253 static int erst_exec_set_src_address_base(struct apei_exec_context *ctx,
 254                                           struct acpi_whea_header *entry)
 255 {
 256         return __apei_exec_read_register(entry, &ctx->src_base);
 257 }
 258
 259 static int erst_exec_set_dst_address_base(struct apei_exec_context *ctx,
 260                                           struct acpi_whea_header *entry)
 261 {
 262         return __apei_exec_read_register(entry, &ctx->dst_base);
 263 }
 264
 265 static int erst_exec_move_data(struct apei_exec_context *ctx,
 266                                struct acpi_whea_header *entry)
 267 {
 268         int rc;
 269         u64 offset;
 270         void *src, *dst;
 271
 272         /* ioremap does not work in interrupt context */
 273         if (in_interrupt()) {
 274                 pr_warning(ERST_PFX
 275                            "MOVE_DATA can not be used in interrupt context");
 276                 return -EBUSY;
 277         }
 278
 279         rc = __apei_exec_read_register(entry, &offset);
 280         if (rc)
 281                 return rc;
 282
 283         src = ioremap(ctx->src_base + offset, ctx->var2);
 284         if (!src)
 285                 return -ENOMEM;
 286         dst = ioremap(ctx->dst_base + offset, ctx->var2);
 287         if (!dst)
 288                 return -ENOMEM;
 289
 290         memmove(dst, src, ctx->var2);
 291
 292         iounmap(src);
 293         iounmap(dst);
 294
 295         return 0;
 296 }
 297
 298 static struct apei_exec_ins_type erst_ins_type[] = {
 299         [ACPI_ERST_READ_REGISTER] = {
 300                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 301                 .run = apei_exec_read_register,
 302         },
 303         [ACPI_ERST_READ_REGISTER_VALUE] = {
 304                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 305                 .run = apei_exec_read_register_value,
 306         },
 307         [ACPI_ERST_WRITE_REGISTER] = {
 308                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 309                 .run = apei_exec_write_register,
 310         },
 311         [ACPI_ERST_WRITE_REGISTER_VALUE] = {
 312                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 313                 .run = apei_exec_write_register_value,
 314         },
 315         [ACPI_ERST_NOOP] = {
 316                 .flags = 0,
 317                 .run = apei_exec_noop,
 318         },
 319         [ACPI_ERST_LOAD_VAR1] = {
 320                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 321                 .run = erst_exec_load_var1,
 322         },
 323         [ACPI_ERST_LOAD_VAR2] = {
 324                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 325                 .run = erst_exec_load_var2,
 326         },
 327         [ACPI_ERST_STORE_VAR1] = {
 328                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 329                 .run = erst_exec_store_var1,
 330         },
 331         [ACPI_ERST_ADD] = {
 332                 .flags = 0,
 333                 .run = erst_exec_add,
 334         },
 335         [ACPI_ERST_SUBTRACT] = {
 336                 .flags = 0,
 337                 .run = erst_exec_subtract,
 338         },
 339         [ACPI_ERST_ADD_VALUE] = {
 340                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 341                 .run = erst_exec_add_value,
 342         },
 343         [ACPI_ERST_SUBTRACT_VALUE] = {
 344                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 345                 .run = erst_exec_subtract_value,
 346         },
 347         [ACPI_ERST_STALL] = {
 348                 .flags = 0,
 349                 .run = erst_exec_stall,
 350         },
 351         [ACPI_ERST_STALL_WHILE_TRUE] = {
 352                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 353                 .run = erst_exec_stall_while_true,
 354         },
 355         [ACPI_ERST_SKIP_NEXT_IF_TRUE] = {
 356                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 357                 .run = erst_exec_skip_next_instruction_if_true,
 358         },
 359         [ACPI_ERST_GOTO] = {
 360                 .flags = 0,
 361                 .run = erst_exec_goto,
 362         },
 363         [ACPI_ERST_SET_SRC_ADDRESS_BASE] = {
 364                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 365                 .run = erst_exec_set_src_address_base,
 366         },
 367         [ACPI_ERST_SET_DST_ADDRESS_BASE] = {
 368                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 369                 .run = erst_exec_set_dst_address_base,
 370         },
 371         [ACPI_ERST_MOVE_DATA] = {
 372                 .flags = APEI_EXEC_INS_ACCESS_REGISTER,
 373                 .run = erst_exec_move_data,
 374         },
 375 };
 376
 377 static inline void erst_exec_ctx_init(struct apei_exec_context *ctx)
 378 {
 379         apei_exec_ctx_init(ctx, erst_ins_type, ARRAY_SIZE(erst_ins_type),
 380                            ERST_TAB_ENTRY(erst_tab), erst_tab->entries);
 381 }
 382
 383 static int erst_get_erange(struct erst_erange *range)
 384 {
 385         struct apei_exec_context ctx;
 386         int rc;
 387
 388         erst_exec_ctx_init(&ctx);
 389         rc = apei_exec_run(&ctx, ACPI_ERST_GET_ERROR_RANGE);
 390         if (rc)
 391                 return rc;
 392         range->base = apei_exec_ctx_get_output(&ctx);
 393         rc = apei_exec_run(&ctx, ACPI_ERST_GET_ERROR_LENGTH);
 394         if (rc)
 395                 return rc;
 396         range->size = apei_exec_ctx_get_output(&ctx);
 397         rc = apei_exec_run(&ctx, ACPI_ERST_GET_ERROR_ATTRIBUTES);
 398         if (rc)
 399                 return rc;
 400         range->attr = apei_exec_ctx_get_output(&ctx);
 401
 402         return 0;
 403 }
 404
 405 static ssize_t __erst_get_record_count(void)
 406 {
 407         struct apei_exec_context ctx;
 408         int rc;
 409
 410         erst_exec_ctx_init(&ctx);
 411         rc = apei_exec_run(&ctx, ACPI_ERST_GET_RECORD_COUNT);
 412         if (rc)
 413                 return rc;
 414         return apei_exec_ctx_get_output(&ctx);
 415 }
 416
 417 ssize_t erst_get_record_count(void)
 418 {
 419         ssize_t count;
 420         unsigned long flags;
 421
 422         if (erst_disable)
 423                 return -ENODEV;
 424
 425         raw_spin_lock_irqsave(&erst_lock, flags);
 426         count = __erst_get_record_count();
 427         raw_spin_unlock_irqrestore(&erst_lock, flags);
 428
 429         return count;
 430 }
 431 EXPORT_SYMBOL_GPL(erst_get_record_count);
 432
 433 #define ERST_RECORD_ID_CACHE_SIZE_MIN   16
 434 #define ERST_RECORD_ID_CACHE_SIZE_MAX   1024
 435
 436 struct erst_record_id_cache {
 437         struct mutex lock;
 438         u64 *entries;
 439         int len;
 440         int size;
 441         int refcount;
 442 };
 443
 444 static struct erst_record_id_cache erst_record_id_cache = {
 445         .lock = __MUTEX_INITIALIZER(erst_record_id_cache.lock),
 446         .refcount = 0,
 447 };
 448
 449 static int __erst_get_next_record_id(u64 *record_id)
 450 {
 451         struct apei_exec_context ctx;
 452         int rc;
 453
 454         erst_exec_ctx_init(&ctx);
 455         rc = apei_exec_run(&ctx, ACPI_ERST_GET_RECORD_ID);
 456         if (rc)
 457                 return rc;
 458         *record_id = apei_exec_ctx_get_output(&ctx);
 459
 460         return 0;
 461 }
 462
 463 int erst_get_record_id_begin(int *pos)
 464 {
 465         int rc;
 466
 467         if (erst_disable)
 468                 return -ENODEV;
 469
 470         rc = mutex_lock_interruptible(&erst_record_id_cache.lock);
 471         if (rc)
 472                 return rc;
 473         erst_record_id_cache.refcount++;
 474         mutex_unlock(&erst_record_id_cache.lock);
 475
 476         *pos = 0;
 477
 478         return 0;
 479 }
 480 EXPORT_SYMBOL_GPL(erst_get_record_id_begin);
 481
 482 /* erst_record_id_cache.lock must be held by caller */
 483 static int __erst_record_id_cache_add_one(void)
 484 {
 485         u64 id, prev_id, first_id;
 486         int i, rc;
 487         u64 *entries;
 488         unsigned long flags;
 489
 490         id = prev_id = first_id = APEI_ERST_INVALID_RECORD_ID;
 491 retry:
 492         raw_spin_lock_irqsave(&erst_lock, flags);
 493         rc = __erst_get_next_record_id(&id);
 494         raw_spin_unlock_irqrestore(&erst_lock, flags);
 495         if (rc == -ENOENT)
 496                 return 0;
 497         if (rc)
 498                 return rc;
 499         if (id == APEI_ERST_INVALID_RECORD_ID)
 500                 return 0;
 501         /* can not skip current ID, or loop back to first ID */
 502         if (id == prev_id || id == first_id)
 503                 return 0;
 504         if (first_id == APEI_ERST_INVALID_RECORD_ID)
 505                 first_id = id;
 506         prev_id = id;
 507
 508         entries = erst_record_id_cache.entries;
 509         for (i = 0; i < erst_record_id_cache.len; i++) {
 510                 if (entries[i] == id)
 511                         break;
 512         }
 513         /* record id already in cache, try next */
 514         if (i < erst_record_id_cache.len)
 515                 goto retry;
 516         if (erst_record_id_cache.len >= erst_record_id_cache.size) {
 517                 int new_size, alloc_size;
 518                 u64 *new_entries;
 519
 520                 new_size = erst_record_id_cache.size * 2;
 521                 new_size = clamp_val(new_size, ERST_RECORD_ID_CACHE_SIZE_MIN,
 522                                      ERST_RECORD_ID_CACHE_SIZE_MAX);
 523                 if (new_size <= erst_record_id_cache.size) {
 524                         if (printk_ratelimit())
 525                                 pr_warning(FW_WARN ERST_PFX
 526                                            "too many record ID!\n");
 527                         return 0;
 528                 }
 529                 alloc_size = new_size * sizeof(entries[0]);
 530                 if (alloc_size < PAGE_SIZE)
 531                         new_entries = kmalloc(alloc_size, GFP_KERNEL);
 532                 else
 533                         new_entries = vmalloc(alloc_size);
 534                 if (!new_entries)
 535                         return -ENOMEM;
 536                 memcpy(new_entries, entries,
 537                        erst_record_id_cache.len * sizeof(entries[0]));
 538                 if (erst_record_id_cache.size < PAGE_SIZE)
 539                         kfree(entries);
 540                 else
 541                         vfree(entries);
 542                 erst_record_id_cache.entries = entries = new_entries;
 543                 erst_record_id_cache.size = new_size;
 544         }
 545         entries[i] = id;
 546         erst_record_id_cache.len++;
 547
 548         return 1;
 549 }
 550
 551 /*
 552  * Get the record ID of an existing error record on the persistent
 553  * storage. If there is no error record on the persistent storage, the
 554  * returned record_id is APEI_ERST_INVALID_RECORD_ID.
 555  */
 556 int erst_get_record_id_next(int *pos, u64 *record_id)
 557 {
 558         int rc = 0;
 559         u64 *entries;
 560
 561         if (erst_disable)
 562                 return -ENODEV;
 563
 564         /* must be enclosed by erst_get_record_id_begin/end */
 565         BUG_ON(!erst_record_id_cache.refcount);
 566         BUG_ON(*pos < 0 || *pos > erst_record_id_cache.len);
 567
 568         mutex_lock(&erst_record_id_cache.lock);
 569         entries = erst_record_id_cache.entries;
 570         for (; *pos < erst_record_id_cache.len; (*pos)++)
 571                 if (entries[*pos] != APEI_ERST_INVALID_RECORD_ID)
 572                         break;
 573         /* found next record id in cache */
 574         if (*pos < erst_record_id_cache.len) {
 575                 *record_id = entries[*pos];
 576                 (*pos)++;
 577                 goto out_unlock;
 578         }
 579
 580         /* Try to add one more record ID to cache */
 581         rc = __erst_record_id_cache_add_one();
 582         if (rc < 0)
 583                 goto out_unlock;
 584         /* successfully add one new ID */
 585         if (rc == 1) {
 586                 *record_id = erst_record_id_cache.entries[*pos];
 587                 (*pos)++;
 588                 rc = 0;
 589         } else {
 590                 *pos = -1;
 591                 *record_id = APEI_ERST_INVALID_RECORD_ID;
 592         }
 593 out_unlock:
 594         mutex_unlock(&erst_record_id_cache.lock);
 595
 596         return rc;
 597 }
 598 EXPORT_SYMBOL_GPL(erst_get_record_id_next);
 599
 600 /* erst_record_id_cache.lock must be held by caller */
 601 static void __erst_record_id_cache_compact(void)
 602 {
 603         int i, wpos = 0;
 604         u64 *entries;
 605
 606         if (erst_record_id_cache.refcount)
 607                 return;
 608
 609         entries = erst_record_id_cache.entries;
 610         for (i = 0; i < erst_record_id_cache.len; i++) {
 611                 if (entries[i] == APEI_ERST_INVALID_RECORD_ID)
 612                         continue;
 613                 if (wpos != i)
 614                         memcpy(&entries[wpos], &entries[i], sizeof(entries[i]));
 615                 wpos++;
 616         }
 617         erst_record_id_cache.len = wpos;
 618 }
 619
 620 void erst_get_record_id_end(void)
 621 {
 622         /*
 623          * erst_disable != 0 should be detected by invoker via the
 624          * return value of erst_get_record_id_begin/next, so this
 625          * function should not be called for erst_disable != 0.
 626          */
 627         BUG_ON(erst_disable);
 628
 629         mutex_lock(&erst_record_id_cache.lock);
 630         erst_record_id_cache.refcount--;
 631         BUG_ON(erst_record_id_cache.refcount < 0);
 632         __erst_record_id_cache_compact();
 633         mutex_unlock(&erst_record_id_cache.lock);
 634 }
 635 EXPORT_SYMBOL_GPL(erst_get_record_id_end);
 636
 637 static int __erst_write_to_storage(u64 offset)
 638 {
 639         struct apei_exec_context ctx;
 640         u64 timeout = FIRMWARE_TIMEOUT;
 641         u64 val;
 642         int rc;
 643
 644         erst_exec_ctx_init(&ctx);
 645         rc = apei_exec_run_optional(&ctx, ACPI_ERST_BEGIN_WRITE);
 646         if (rc)
 647                 return rc;
 648         apei_exec_ctx_set_input(&ctx, offset);
 649         rc = apei_exec_run(&ctx, ACPI_ERST_SET_RECORD_OFFSET);
 650         if (rc)
 651                 return rc;
 652         rc = apei_exec_run(&ctx, ACPI_ERST_EXECUTE_OPERATION);
 653         if (rc)
 654                 return rc;
 655         for (;;) {
 656                 rc = apei_exec_run(&ctx, ACPI_ERST_CHECK_BUSY_STATUS);
 657                 if (rc)
 658                         return rc;
 659                 val = apei_exec_ctx_get_output(&ctx);
 660                 if (!val)
 661                         break;
 662                 if (erst_timedout(&timeout, SPIN_UNIT))
 663                         return -EIO;
 664         }
 665         rc = apei_exec_run(&ctx, ACPI_ERST_GET_COMMAND_STATUS);
 666         if (rc)
 667                 return rc;
 668         val = apei_exec_ctx_get_output(&ctx);
 669         rc = apei_exec_run_optional(&ctx, ACPI_ERST_END);
 670         if (rc)
 671                 return rc;
 672
 673         return erst_errno(val);
 674 }
 675
 676 static int __erst_read_from_storage(u64 record_id, u64 offset)
 677 {
 678         struct apei_exec_context ctx;
 679         u64 timeout = FIRMWARE_TIMEOUT;
 680         u64 val;
 681         int rc;
 682
 683         erst_exec_ctx_init(&ctx);
 684         rc = apei_exec_run_optional(&ctx, ACPI_ERST_BEGIN_READ);
 685         if (rc)
 686                 return rc;
 687         apei_exec_ctx_set_input(&ctx, offset);
 688         rc = apei_exec_run(&ctx, ACPI_ERST_SET_RECORD_OFFSET);
 689         if (rc)
 690                 return rc;
 691         apei_exec_ctx_set_input(&ctx, record_id);
 692         rc = apei_exec_run(&ctx, ACPI_ERST_SET_RECORD_ID);
 693         if (rc)
 694                 return rc;
 695         rc = apei_exec_run(&ctx, ACPI_ERST_EXECUTE_OPERATION);
 696         if (rc)
 697                 return rc;
 698         for (;;) {
 699                 rc = apei_exec_run(&ctx, ACPI_ERST_CHECK_BUSY_STATUS);
 700                 if (rc)
 701                         return rc;
 702                 val = apei_exec_ctx_get_output(&ctx);
 703                 if (!val)
 704                         break;
 705                 if (erst_timedout(&timeout, SPIN_UNIT))
 706                         return -EIO;
 707         };
 708         rc = apei_exec_run(&ctx, ACPI_ERST_GET_COMMAND_STATUS);
 709         if (rc)
 710                 return rc;
 711         val = apei_exec_ctx_get_output(&ctx);
 712         rc = apei_exec_run_optional(&ctx, ACPI_ERST_END);
 713         if (rc)
 714                 return rc;
 715
 716         return erst_errno(val);
 717 }
 718
 719 static int __erst_clear_from_storage(u64 record_id)
 720 {
 721         struct apei_exec_context ctx;
 722         u64 timeout = FIRMWARE_TIMEOUT;
 723         u64 val;
 724         int rc;
 725
 726         erst_exec_ctx_init(&ctx);
 727         rc = apei_exec_run_optional(&ctx, ACPI_ERST_BEGIN_CLEAR);
 728         if (rc)
 729                 return rc;
 730         apei_exec_ctx_set_input(&ctx, record_id);
 731         rc = apei_exec_run(&ctx, ACPI_ERST_SET_RECORD_ID);
 732         if (rc)
 733                 return rc;
 734         rc = apei_exec_run(&ctx, ACPI_ERST_EXECUTE_OPERATION);
 735         if (rc)
 736                 return rc;
 737         for (;;) {
 738                 rc = apei_exec_run(&ctx, ACPI_ERST_CHECK_BUSY_STATUS);
 739                 if (rc)
 740                         return rc;
 741                 val = apei_exec_ctx_get_output(&ctx);
 742                 if (!val)
 743                         break;
 744                 if (erst_timedout(&timeout, SPIN_UNIT))
 745                         return -EIO;
 746         }
 747         rc = apei_exec_run(&ctx, ACPI_ERST_GET_COMMAND_STATUS);
 748         if (rc)
 749                 return rc;
 750         val = apei_exec_ctx_get_output(&ctx);
 751         rc = apei_exec_run_optional(&ctx, ACPI_ERST_END);
 752         if (rc)
 753                 return rc;
 754
 755         return erst_errno(val);
 756 }
 757
 758 /* NVRAM ERST Error Log Address Range is not supported yet */
 759 static void pr_unimpl_nvram(void)
 760 {
 761         if (printk_ratelimit())
 762                 pr_warning(ERST_PFX
 763                 "NVRAM ERST Log Address Range is not implemented yet\n");
 764 }
 765
 766 static int __erst_write_to_nvram(const struct cper_record_header *record)
 767 {
 768         /* do not print message, because printk is not safe for NMI */
 769         return -ENOSYS;
 770 }
 771
 772 static int __erst_read_to_erange_from_nvram(u64 record_id, u64 *offset)
 773 {
 774         pr_unimpl_nvram();
 775         return -ENOSYS;
 776 }
 777
 778 static int __erst_clear_from_nvram(u64 record_id)
 779 {
 780         pr_unimpl_nvram();
 781         return -ENOSYS;
 782 }
 783
 784 int erst_write(const struct cper_record_header *record)
 785 {
 786         int rc;
 787         unsigned long flags;
 788         struct cper_record_header *rcd_erange;
 789
 790         if (erst_disable)
 791                 return -ENODEV;
 792
 793         if (memcmp(record->signature, CPER_SIG_RECORD, CPER_SIG_SIZE))
 794                 return -EINVAL;
 795
 796         if (erst_erange.attr & ERST_RANGE_NVRAM) {
 797                 if (!raw_spin_trylock_irqsave(&erst_lock, flags))
 798                         return -EBUSY;
 799                 rc = __erst_write_to_nvram(record);
 800                 raw_spin_unlock_irqrestore(&erst_lock, flags);
 801                 return rc;
 802         }
 803
 804         if (record->record_length > erst_erange.size)
 805                 return -EINVAL;
 806
 807         if (!raw_spin_trylock_irqsave(&erst_lock, flags))
 808                 return -EBUSY;
 809         memcpy(erst_erange.vaddr, record, record->record_length);
 810         rcd_erange = erst_erange.vaddr;
 811         /* signature for serialization system */
 812         memcpy(&rcd_erange->persistence_information, "ER", 2);
 813
 814         rc = __erst_write_to_storage(0);
 815         raw_spin_unlock_irqrestore(&erst_lock, flags);
 816
 817         return rc;
 818 }
 819 EXPORT_SYMBOL_GPL(erst_write);
 820
 821 static int __erst_read_to_erange(u64 record_id, u64 *offset)
 822 {
 823         int rc;
 824
 825         if (erst_erange.attr & ERST_RANGE_NVRAM)
 826                 return __erst_read_to_erange_from_nvram(
 827                         record_id, offset);
 828
 829         rc = __erst_read_from_storage(record_id, 0);
 830         if (rc)
 831                 return rc;
 832         *offset = 0;
 833
 834         return 0;
 835 }
 836
 837 static ssize_t __erst_read(u64 record_id, struct cper_record_header *record,
 838                            size_t buflen)
 839 {
 840         int rc;
 841         u64 offset, len = 0;
 842         struct cper_record_header *rcd_tmp;
 843
 844         rc = __erst_read_to_erange(record_id, &offset);
 845         if (rc)
 846                 return rc;
 847         rcd_tmp = erst_erange.vaddr + offset;
 848         len = rcd_tmp->record_length;
 849         if (len <= buflen)
 850                 memcpy(record, rcd_tmp, len);
 851
 852         return len;
 853 }
 854
 855 /*
 856  * If return value > buflen, the buffer size is not big enough,
 857  * else if return value < 0, something goes wrong,
 858  * else everything is OK, and return value is record length
 859  */
 860 ssize_t erst_read(u64 record_id, struct cper_record_header *record,
 861                   size_t buflen)
 862 {
 863         ssize_t len;
 864         unsigned long flags;
 865
 866         if (erst_disable)
 867                 return -ENODEV;
 868
 869         raw_spin_lock_irqsave(&erst_lock, flags);
 870         len = __erst_read(record_id, record, buflen);
 871         raw_spin_unlock_irqrestore(&erst_lock, flags);
 872         return len;
 873 }
 874 EXPORT_SYMBOL_GPL(erst_read);
 875
 876 int erst_clear(u64 record_id)
 877 {
 878         int rc, i;
 879         unsigned long flags;
 880         u64 *entries;
 881
 882         if (erst_disable)
 883                 return -ENODEV;
 884
 885         rc = mutex_lock_interruptible(&erst_record_id_cache.lock);
 886         if (rc)
 887                 return rc;
 888         raw_spin_lock_irqsave(&erst_lock, flags);
 889         if (erst_erange.attr & ERST_RANGE_NVRAM)
 890                 rc = __erst_clear_from_nvram(record_id);
 891         else
 892                 rc = __erst_clear_from_storage(record_id);
 893         raw_spin_unlock_irqrestore(&erst_lock, flags);
 894         if (rc)
 895                 goto out;
 896         entries = erst_record_id_cache.entries;
 897         for (i = 0; i < erst_record_id_cache.len; i++) {
 898                 if (entries[i] == record_id)
 899                         entries[i] = APEI_ERST_INVALID_RECORD_ID;
 900         }
 901         __erst_record_id_cache_compact();
 902 out:
 903         mutex_unlock(&erst_record_id_cache.lock);
 904         return rc;
 905 }
 906 EXPORT_SYMBOL_GPL(erst_clear);
 907
 908 static int __init setup_erst_disable(char *str)
 909 {
 910         erst_disable = 1;
 911         return 0;
 912 }
 913
 914 __setup("erst_disable", setup_erst_disable);
 915
 916 static int erst_check_table(struct acpi_table_erst *erst_tab)
 917 {
 918         if ((erst_tab->header_length !=
 919              (sizeof(struct acpi_table_erst) - sizeof(erst_tab->header)))
 920             && (erst_tab->header_length != sizeof(struct acpi_table_erst)))
 921                 return -EINVAL;
 922         if (erst_tab->header.length < sizeof(struct acpi_table_erst))
 923                 return -EINVAL;
 924         if (erst_tab->entries !=
 925             (erst_tab->header.length - sizeof(struct acpi_table_erst)) /
 926             sizeof(struct acpi_erst_entry))
 927                 return -EINVAL;
 928
 929         return 0;
 930 }
 931
 932 static int erst_open_pstore(struct pstore_info *psi);
 933 static int erst_close_pstore(struct pstore_info *psi);
 934 static ssize_t erst_reader(u64 *id, enum pstore_type_id *type, int *count,
 935                            struct timespec *time, char **buf,
 936                            struct pstore_info *psi);
 937 static int erst_writer(enum pstore_type_id type, enum kmsg_dump_reason reason,
 938                        u64 *id, unsigned int part, int count,
 939                        size_t size, struct pstore_info *psi);
 940 static int erst_clearer(enum pstore_type_id type, u64 id, int count,
 941                         struct timespec time, struct pstore_info *psi);
 942
 943 static struct pstore_info erst_info = {
 944         .owner          = THIS_MODULE,
 945         .name           = "erst",
 946         .open           = erst_open_pstore,
 947         .close          = erst_close_pstore,
 948         .read           = erst_reader,
 949         .write          = erst_writer,
 950         .erase          = erst_clearer
 951 };
 952
 953 #define CPER_CREATOR_PSTORE                                             \
 954         UUID_LE(0x75a574e3, 0x5052, 0x4b29, 0x8a, 0x8e, 0xbe, 0x2c,     \
 955                 0x64, 0x90, 0xb8, 0x9d)
 956 #define CPER_SECTION_TYPE_DMESG                                         \
 957         UUID_LE(0xc197e04e, 0xd545, 0x4a70, 0x9c, 0x17, 0xa5, 0x54,     \
 958                 0x94, 0x19, 0xeb, 0x12)
 959 #define CPER_SECTION_TYPE_MCE                                           \
 960         UUID_LE(0xfe08ffbe, 0x95e4, 0x4be7, 0xbc, 0x73, 0x40, 0x96,     \
 961                 0x04, 0x4a, 0x38, 0xfc)
 962
 963 struct cper_pstore_record {
 964         struct cper_record_header hdr;
 965         struct cper_section_descriptor sec_hdr;
 966         char data[];
 967 } __packed;
 968
 969 static int reader_pos;
 970
 971 static int erst_open_pstore(struct pstore_info *psi)
 972 {
 973         int rc;
 974
 975         if (erst_disable)
 976                 return -ENODEV;
 977
 978         rc = erst_get_record_id_begin(&reader_pos);
 979
 980         return rc;
 981 }
 982
 983 static int erst_close_pstore(struct pstore_info *psi)
 984 {
 985         erst_get_record_id_end();
 986
 987         return 0;
 988 }
 989
 990 static ssize_t erst_reader(u64 *id, enum pstore_type_id *type, int *count,
 991                            struct timespec *time, char **buf,
 992                            struct pstore_info *psi)
 993 {
 994         int rc;
 995         ssize_t len = 0;
 996         u64 record_id;
 997         struct cper_pstore_record *rcd;
 998         size_t rcd_len = sizeof(*rcd) + erst_info.bufsize;
 999
1000         if (erst_disable)
1001                 return -ENODEV;
1002
1003         rcd = kmalloc(rcd_len, GFP_KERNEL);
1004         if (!rcd) {
1005                 rc = -ENOMEM;
1006                 goto out;
1007         }
1008 skip:
1009         rc = erst_get_record_id_next(&reader_pos, &record_id);
1010         if (rc)
1011                 goto out;
1012
1013         /* no more record */
1014         if (record_id == APEI_ERST_INVALID_RECORD_ID) {
1015                 rc = -EINVAL;
1016                 goto out;
1017         }
1018
1019         len = erst_read(record_id, &rcd->hdr, rcd_len);
1020         /* The record may be cleared by others, try read next record */
1021         if (len == -ENOENT)
1022                 goto skip;
1023         else if (len < sizeof(*rcd)) {
1024                 rc = -EIO;
1025                 goto out;
1026         }
1027         if (uuid_le_cmp(rcd->hdr.creator_id, CPER_CREATOR_PSTORE) != 0)
1028                 goto skip;
1029
1030         *buf = kmalloc(len, GFP_KERNEL);
1031         if (*buf == NULL) {
1032                 rc = -ENOMEM;
1033                 goto out;
1034         }
1035         memcpy(*buf, rcd->data, len - sizeof(*rcd));
1036         *id = record_id;
1037         if (uuid_le_cmp(rcd->sec_hdr.section_type,
1038                         CPER_SECTION_TYPE_DMESG) == 0)
1039                 *type = PSTORE_TYPE_DMESG;
1040         else if (uuid_le_cmp(rcd->sec_hdr.section_type,
1041                              CPER_SECTION_TYPE_MCE) == 0)
1042                 *type = PSTORE_TYPE_MCE;
1043         else
1044                 *type = PSTORE_TYPE_UNKNOWN;
1045
1046         if (rcd->hdr.validation_bits & CPER_VALID_TIMESTAMP)
1047                 time->tv_sec = rcd->hdr.timestamp;
1048         else
1049                 time->tv_sec = 0;
1050         time->tv_nsec = 0;
1051
1052 out:
1053         kfree(rcd);
1054         return (rc < 0) ? rc : (len - sizeof(*rcd));
1055 }
1056
1057 static int erst_writer(enum pstore_type_id type, enum kmsg_dump_reason reason,
1058                        u64 *id, unsigned int part, int count,
1059                        size_t size, struct pstore_info *psi)
1060 {
1061         struct cper_pstore_record *rcd = (struct cper_pstore_record *)
1062                                         (erst_info.buf - sizeof(*rcd));
1063         int ret;
1064
1065         memset(rcd, 0, sizeof(*rcd));
1066         memcpy(rcd->hdr.signature, CPER_SIG_RECORD, CPER_SIG_SIZE);
1067         rcd->hdr.revision = CPER_RECORD_REV;
1068         rcd->hdr.signature_end = CPER_SIG_END;
1069         rcd->hdr.section_count = 1;
1070         rcd->hdr.error_severity = CPER_SEV_FATAL;
1071         /* timestamp valid. platform_id, partition_id are invalid */
1072         rcd->hdr.validation_bits = CPER_VALID_TIMESTAMP;
1073         rcd->hdr.timestamp = get_seconds();
1074         rcd->hdr.record_length = sizeof(*rcd) + size;
1075         rcd->hdr.creator_id = CPER_CREATOR_PSTORE;
1076         rcd->hdr.notification_type = CPER_NOTIFY_MCE;
1077         rcd->hdr.record_id = cper_next_record_id();
1078         rcd->hdr.flags = CPER_HW_ERROR_FLAGS_PREVERR;
1079
1080         rcd->sec_hdr.section_offset = sizeof(*rcd);
1081         rcd->sec_hdr.section_length = size;
1082         rcd->sec_hdr.revision = CPER_SEC_REV;
1083         /* fru_id and fru_text is invalid */
1084         rcd->sec_hdr.validation_bits = 0;
1085         rcd->sec_hdr.flags = CPER_SEC_PRIMARY;
1086         switch (type) {
1087         case PSTORE_TYPE_DMESG:
1088                 rcd->sec_hdr.section_type = CPER_SECTION_TYPE_DMESG;
1089                 break;
1090         case PSTORE_TYPE_MCE:
1091                 rcd->sec_hdr.section_type = CPER_SECTION_TYPE_MCE;
1092                 break;
1093         default:
1094                 return -EINVAL;
1095         }
1096         rcd->sec_hdr.section_severity = CPER_SEV_FATAL;
1097
1098         ret = erst_write(&rcd->hdr);
1099         *id = rcd->hdr.record_id;
1100
1101         return ret;
1102 }
1103
1104 static int erst_clearer(enum pstore_type_id type, u64 id, int count,
1105                         struct timespec time, struct pstore_info *psi)
1106 {
1107         return erst_clear(id);
1108 }
1109
1110 static int __init erst_init(void)
1111 {
1112         int rc = 0;
1113         acpi_status status;
1114         struct apei_exec_context ctx;
1115         struct apei_resources erst_resources;
1116         struct resource *r;
1117         char *buf;
1118
1119         if (acpi_disabled)
1120                 goto err;
1121
1122         if (erst_disable) {
1123                 pr_info(ERST_PFX
1124         "Error Record Serialization Table (ERST) support is disabled.\n");
1125                 goto err;
1126         }
1127
1128         status = acpi_get_table(ACPI_SIG_ERST, 0,
1129                                 (struct acpi_table_header **)&erst_tab);
1130         if (status == AE_NOT_FOUND)
1131                 goto err;
1132         else if (ACPI_FAILURE(status)) {
1133                 const char *msg = acpi_format_exception(status);
1134                 pr_err(ERST_PFX "Failed to get table, %s\n", msg);
1135                 rc = -EINVAL;
1136                 goto err;
1137         }
1138
1139         rc = erst_check_table(erst_tab);
1140         if (rc) {
1141                 pr_err(FW_BUG ERST_PFX "ERST table is invalid\n");
1142                 goto err;
1143         }
1144
1145         apei_resources_init(&erst_resources);
1146         erst_exec_ctx_init(&ctx);
1147         rc = apei_exec_collect_resources(&ctx, &erst_resources);
1148         if (rc)
1149                 goto err_fini;
1150         rc = apei_resources_request(&erst_resources, "APEI ERST");
1151         if (rc)
1152                 goto err_fini;
1153         rc = apei_exec_pre_map_gars(&ctx);
1154         if (rc)
1155                 goto err_release;
1156         rc = erst_get_erange(&erst_erange);
1157         if (rc) {
1158                 if (rc == -ENODEV)
1159                         pr_info(ERST_PFX
1160         "The corresponding hardware device or firmware implementation "
1161         "is not available.\n");
1162                 else
1163                         pr_err(ERST_PFX
1164                                "Failed to get Error Log Address Range.\n");
1165                 goto err_unmap_reg;
1166         }
1167
1168         r = request_mem_region(erst_erange.base, erst_erange.size, "APEI ERST");
1169         if (!r) {
1170                 pr_err(ERST_PFX
1171                 "Can not request iomem region <0x%16llx-0x%16llx> for ERST.\n",
1172                 (unsigned long long)erst_erange.base,
1173                 (unsigned long long)erst_erange.base + erst_erange.size);
1174                 rc = -EIO;
1175                 goto err_unmap_reg;
1176         }
1177         rc = -ENOMEM;
1178         erst_erange.vaddr = ioremap_cache(erst_erange.base,
1179                                           erst_erange.size);
1180         if (!erst_erange.vaddr)
1181                 goto err_release_erange;
1182
1183         buf = kmalloc(erst_erange.size, GFP_KERNEL);
1184         spin_lock_init(&erst_info.buf_lock);
1185         if (buf) {
1186                 erst_info.buf = buf + sizeof(struct cper_pstore_record);
1187                 erst_info.bufsize = erst_erange.size -
1188                                     sizeof(struct cper_pstore_record);
1189                 if (pstore_register(&erst_info)) {
1190                         pr_info(ERST_PFX "Could not register with persistent store\n");
1191                         kfree(buf);
1192                 }
1193         }
1194
1195         pr_info(ERST_PFX
1196         "Error Record Serialization Table (ERST) support is initialized.\n");
1197
1198         return 0;
1199
1200 err_release_erange:
1201         release_mem_region(erst_erange.base, erst_erange.size);
1202 err_unmap_reg:
1203         apei_exec_post_unmap_gars(&ctx);
1204 err_release:
1205         apei_resources_release(&erst_resources);
1206 err_fini:
1207         apei_resources_fini(&erst_resources);
1208 err:
1209         erst_disable = 1;
1210         return rc;
1211 }
1212
1213 device_initcall(erst_init);