kernel/printk.c

   1 /*
   2  *  linux/kernel/printk.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  *
   6  * Modified to make sys_syslog() more flexible: added commands to
   7  * return the last 4k of kernel messages, regardless of whether
   8  * they've been read or not.  Added option to suppress kernel printk's
   9  * to the console.  Added hook for sending the console messages
  10  * elsewhere, in preparation for a serial line console (someday).
  11  * Ted Ts'o, 2/11/93.
  12  * Modified for sysctl support, 1/8/97, Chris Horn.
  13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
  14  *     manfred@colorfullife.com
  15  * Rewrote bits to get rid of console_lock
  16  *      01Mar01 Andrew Morton
  17  */
  18
  19 #include <linux/kernel.h>
  20 #include <linux/mm.h>
  21 #include <linux/tty.h>
  22 #include <linux/tty_driver.h>
  23 #include <linux/console.h>
  24 #include <linux/init.h>
  25 #include <linux/jiffies.h>
  26 #include <linux/nmi.h>
  27 #include <linux/module.h>
  28 #include <linux/moduleparam.h>
  29 #include <linux/interrupt.h>                    /* For in_interrupt() */
  30 #include <linux/delay.h>
  31 #include <linux/smp.h>
  32 #include <linux/security.h>
  33 #include <linux/bootmem.h>
  34 #include <linux/memblock.h>
  35 #include <linux/syscalls.h>
  36 #include <linux/kexec.h>
  37 #include <linux/kdb.h>
  38 #include <linux/ratelimit.h>
  39 #include <linux/kmsg_dump.h>
  40 #include <linux/syslog.h>
  41 #include <linux/cpu.h>
  42 #include <linux/notifier.h>
  43 #include <linux/rculist.h>
  44 #include <linux/poll.h>
  45
  46 #include <asm/uaccess.h>
  47
  48 #define CREATE_TRACE_POINTS
  49 #include <trace/events/printk.h>
  50
  51 /*
  52  * Architectures can override it:
  53  */
  54 void asmlinkage __attribute__((weak)) early_printk(const char *fmt, ...)
  55 {
  56 }
  57
  58 /* printk's without a loglevel use this.. */
  59 #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
  60
  61 /* We show everything that is MORE important than this.. */
  62 #define MINIMUM_CONSOLE_LOGLEVEL 1 /* Minimum loglevel we let people use */
  63 #define DEFAULT_CONSOLE_LOGLEVEL 7 /* anything MORE serious than KERN_DEBUG */
  64
  65 DECLARE_WAIT_QUEUE_HEAD(log_wait);
  66
  67 int console_printk[4] = {
  68         DEFAULT_CONSOLE_LOGLEVEL,       /* console_loglevel */
  69         DEFAULT_MESSAGE_LOGLEVEL,       /* default_message_loglevel */
  70         MINIMUM_CONSOLE_LOGLEVEL,       /* minimum_console_loglevel */
  71         DEFAULT_CONSOLE_LOGLEVEL,       /* default_console_loglevel */
  72 };
  73
  74 /*
  75  * Low level drivers may need that to know if they can schedule in
  76  * their unblank() callback or not. So let's export it.
  77  */
  78 int oops_in_progress;
  79 EXPORT_SYMBOL(oops_in_progress);
  80
  81 /*
  82  * console_sem protects the console_drivers list, and also
  83  * provides serialisation for access to the entire console
  84  * driver system.
  85  */
  86 static DEFINE_SEMAPHORE(console_sem);
  87 struct console *console_drivers;
  88 EXPORT_SYMBOL_GPL(console_drivers);
  89
  90 /*
  91  * This is used for debugging the mess that is the VT code by
  92  * keeping track if we have the console semaphore held. It's
  93  * definitely not the perfect debug tool (we don't know if _WE_
  94  * hold it are racing, but it helps tracking those weird code
  95  * path in the console code where we end up in places I want
  96  * locked without the console sempahore held
  97  */
  98 static int console_locked, console_suspended;
  99
 100 /*
 101  * If exclusive_console is non-NULL then only this console is to be printed to.
 102  */
 103 static struct console *exclusive_console;
 104
 105 /*
 106  *      Array of consoles built from command line options (console=)
 107  */
 108 struct console_cmdline
 109 {
 110         char    name[8];                        /* Name of the driver       */
 111         int     index;                          /* Minor dev. to use        */
 112         char    *options;                       /* Options for the driver   */
 113 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
 114         char    *brl_options;                   /* Options for braille driver */
 115 #endif
 116 };
 117
 118 #define MAX_CMDLINECONSOLES 8
 119
 120 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
 121 static int selected_console = -1;
 122 static int preferred_console = -1;
 123 int console_set_on_cmdline;
 124 EXPORT_SYMBOL(console_set_on_cmdline);
 125
 126 /* Flag: console code may call schedule() */
 127 static int console_may_schedule;
 128
 129 /*
 130  * The printk log buffer consists of a chain of concatenated variable
 131  * length records. Every record starts with a record header, containing
 132  * the overall length of the record.
 133  *
 134  * The heads to the first and last entry in the buffer, as well as the
 135  * sequence numbers of these both entries are maintained when messages
 136  * are stored..
 137  *
 138  * If the heads indicate available messages, the length in the header
 139  * tells the start next message. A length == 0 for the next message
 140  * indicates a wrap-around to the beginning of the buffer.
 141  *
 142  * Every record carries the monotonic timestamp in microseconds, as well as
 143  * the standard userspace syslog level and syslog facility. The usual
 144  * kernel messages use LOG_KERN; userspace-injected messages always carry
 145  * a matching syslog facility, by default LOG_USER. The origin of every
 146  * message can be reliably determined that way.
 147  *
 148  * The human readable log message directly follows the message header. The
 149  * length of the message text is stored in the header, the stored message
 150  * is not terminated.
 151  *
 152  * Optionally, a message can carry a dictionary of properties (key/value pairs),
 153  * to provide userspace with a machine-readable message context.
 154  *
 155  * Examples for well-defined, commonly used property names are:
 156  *   DEVICE=b12:8               device identifier
 157  *                                b12:8         block dev_t
 158  *                                c127:3        char dev_t
 159  *                                n8            netdev ifindex
 160  *                                +sound:card0  subsystem:devname
 161  *   SUBSYSTEM=pci              driver-core subsystem name
 162  *
 163  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
 164  * follows directly after a '=' character. Every property is terminated by
 165  * a '\0' character. The last property is not terminated.
 166  *
 167  * Example of a message structure:
 168  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
 169  *   0008  34 00                        record is 52 bytes long
 170  *   000a        0b 00                  text is 11 bytes long
 171  *   000c              1f 00            dictionary is 23 bytes long
 172  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
 173  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
 174  *         69 6e 65                     "ine"
 175  *   001b           44 45 56 49 43      "DEVIC"
 176  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
 177  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
 178  *         67                           "g"
 179  *   0032     00 00 00                  padding to next message header
 180  *
 181  * The 'struct log' buffer header must never be directly exported to
 182  * userspace, it is a kernel-private implementation detail that might
 183  * need to be changed in the future, when the requirements change.
 184  *
 185  * /dev/kmsg exports the structured data in the following line format:
 186  *   "level,sequnum,timestamp;<message text>\n"
 187  *
 188  * The optional key/value pairs are attached as continuation lines starting
 189  * with a space character and terminated by a newline. All possible
 190  * non-prinatable characters are escaped in the "\xff" notation.
 191  *
 192  * Users of the export format should ignore possible additional values
 193  * separated by ',', and find the message after the ';' character.
 194  */
 195
 196 struct log {
 197         u64 ts_nsec;            /* timestamp in nanoseconds */
 198         u16 len;                /* length of entire record */
 199         u16 text_len;           /* length of text buffer */
 200         u16 dict_len;           /* length of dictionary buffer */
 201         u16 level;              /* syslog level + facility */
 202 };
 203
 204 /*
 205  * The logbuf_lock protects kmsg buffer, indices, counters. It is also
 206  * used in interesting ways to provide interlocking in console_unlock();
 207  */
 208 static DEFINE_RAW_SPINLOCK(logbuf_lock);
 209
 210 /* the next printk record to read by syslog(READ) or /proc/kmsg */
 211 static u64 syslog_seq;
 212 static u32 syslog_idx;
 213
 214 /* index and sequence number of the first record stored in the buffer */
 215 static u64 log_first_seq;
 216 static u32 log_first_idx;
 217
 218 /* index and sequence number of the next record to store in the buffer */
 219 static u64 log_next_seq;
 220 #ifdef CONFIG_PRINTK
 221 static u32 log_next_idx;
 222
 223 /* the next printk record to read after the last 'clear' command */
 224 static u64 clear_seq;
 225 static u32 clear_idx;
 226
 227 #define LOG_LINE_MAX 1024
 228
 229 /* record buffer */
 230 #if !defined(CONFIG_64BIT) || defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
 231 #define LOG_ALIGN 4
 232 #else
 233 #define LOG_ALIGN 8
 234 #endif
 235 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
 236 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
 237 static char *log_buf = __log_buf;
 238 static u32 log_buf_len = __LOG_BUF_LEN;
 239
 240 /* cpu currently holding logbuf_lock */
 241 static volatile unsigned int logbuf_cpu = UINT_MAX;
 242
 243 /* human readable text of the record */
 244 static char *log_text(const struct log *msg)
 245 {
 246         return (char *)msg + sizeof(struct log);
 247 }
 248
 249 /* optional key/value pair dictionary attached to the record */
 250 static char *log_dict(const struct log *msg)
 251 {
 252         return (char *)msg + sizeof(struct log) + msg->text_len;
 253 }
 254
 255 /* get record by index; idx must point to valid msg */
 256 static struct log *log_from_idx(u32 idx)
 257 {
 258         struct log *msg = (struct log *)(log_buf + idx);
 259
 260         /*
 261          * A length == 0 record is the end of buffer marker. Wrap around and
 262          * read the message at the start of the buffer.
 263          */
 264         if (!msg->len)
 265                 return (struct log *)log_buf;
 266         return msg;
 267 }
 268
 269 /* get next record; idx must point to valid msg */
 270 static u32 log_next(u32 idx)
 271 {
 272         struct log *msg = (struct log *)(log_buf + idx);
 273
 274         /* length == 0 indicates the end of the buffer; wrap */
 275         /*
 276          * A length == 0 record is the end of buffer marker. Wrap around and
 277          * read the message at the start of the buffer as *this* one, and
 278          * return the one after that.
 279          */
 280         if (!msg->len) {
 281                 msg = (struct log *)log_buf;
 282                 return msg->len;
 283         }
 284         return idx + msg->len;
 285 }
 286
 287 /* insert record into the buffer, discard old ones, update heads */
 288 static void log_store(int facility, int level,
 289                       const char *dict, u16 dict_len,
 290                       const char *text, u16 text_len)
 291 {
 292         struct log *msg;
 293         u32 size, pad_len;
 294
 295         /* number of '\0' padding bytes to next message */
 296         size = sizeof(struct log) + text_len + dict_len;
 297         pad_len = (-size) & (LOG_ALIGN - 1);
 298         size += pad_len;
 299
 300         while (log_first_seq < log_next_seq) {
 301                 u32 free;
 302
 303                 if (log_next_idx > log_first_idx)
 304                         free = max(log_buf_len - log_next_idx, log_first_idx);
 305                 else
 306                         free = log_first_idx - log_next_idx;
 307
 308                 if (free > size + sizeof(struct log))
 309                         break;
 310
 311                 /* drop old messages until we have enough contiuous space */
 312                 log_first_idx = log_next(log_first_idx);
 313                 log_first_seq++;
 314         }
 315
 316         if (log_next_idx + size + sizeof(struct log) >= log_buf_len) {
 317                 /*
 318                  * This message + an additional empty header does not fit
 319                  * at the end of the buffer. Add an empty header with len == 0
 320                  * to signify a wrap around.
 321                  */
 322                 memset(log_buf + log_next_idx, 0, sizeof(struct log));
 323                 log_next_idx = 0;
 324         }
 325
 326         /* fill message */
 327         msg = (struct log *)(log_buf + log_next_idx);
 328         memcpy(log_text(msg), text, text_len);
 329         msg->text_len = text_len;
 330         memcpy(log_dict(msg), dict, dict_len);
 331         msg->dict_len = dict_len;
 332         msg->level = (facility << 3) | (level & 7);
 333         msg->ts_nsec = local_clock();
 334         memset(log_dict(msg) + dict_len, 0, pad_len);
 335         msg->len = sizeof(struct log) + text_len + dict_len + pad_len;
 336
 337         /* insert message */
 338         log_next_idx += msg->len;
 339         log_next_seq++;
 340 }
 341
 342 /* /dev/kmsg - userspace message inject/listen interface */
 343 struct devkmsg_user {
 344         u64 seq;
 345         u32 idx;
 346         struct mutex lock;
 347         char buf[8192];
 348 };
 349
 350 static ssize_t devkmsg_writev(struct kiocb *iocb, const struct iovec *iv,
 351                               unsigned long count, loff_t pos)
 352 {
 353         char *buf, *line;
 354         int i;
 355         int level = default_message_loglevel;
 356         int facility = 1;       /* LOG_USER */
 357         size_t len = iov_length(iv, count);
 358         ssize_t ret = len;
 359
 360         if (len > LOG_LINE_MAX)
 361                 return -EINVAL;
 362         buf = kmalloc(len+1, GFP_KERNEL);
 363         if (buf == NULL)
 364                 return -ENOMEM;
 365
 366         line = buf;
 367         for (i = 0; i < count; i++) {
 368                 if (copy_from_user(line, iv[i].iov_base, iv[i].iov_len))
 369                         goto out;
 370                 line += iv[i].iov_len;
 371         }
 372
 373         /*
 374          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
 375          * the decimal value represents 32bit, the lower 3 bit are the log
 376          * level, the rest are the log facility.
 377          *
 378          * If no prefix or no userspace facility is specified, we
 379          * enforce LOG_USER, to be able to reliably distinguish
 380          * kernel-generated messages from userspace-injected ones.
 381          */
 382         line = buf;
 383         if (line[0] == '<') {
 384                 char *endp = NULL;
 385
 386                 i = simple_strtoul(line+1, &endp, 10);
 387                 if (endp && endp[0] == '>') {
 388                         level = i & 7;
 389                         if (i >> 3)
 390                                 facility = i >> 3;
 391                         endp++;
 392                         len -= endp - line;
 393                         line = endp;
 394                 }
 395         }
 396         line[len] = '\0';
 397
 398         printk_emit(facility, level, NULL, 0, "%s", line);
 399 out:
 400         kfree(buf);
 401         return ret;
 402 }
 403
 404 static ssize_t devkmsg_read(struct file *file, char __user *buf,
 405                             size_t count, loff_t *ppos)
 406 {
 407         struct devkmsg_user *user = file->private_data;
 408         struct log *msg;
 409         u64 ts_usec;
 410         size_t i;
 411         size_t len;
 412         ssize_t ret;
 413
 414         if (!user)
 415                 return -EBADF;
 416
 417         mutex_lock(&user->lock);
 418         raw_spin_lock(&logbuf_lock);
 419         while (user->seq == log_next_seq) {
 420                 if (file->f_flags & O_NONBLOCK) {
 421                         ret = -EAGAIN;
 422                         raw_spin_unlock(&logbuf_lock);
 423                         goto out;
 424                 }
 425
 426                 raw_spin_unlock(&logbuf_lock);
 427                 ret = wait_event_interruptible(log_wait,
 428                                                user->seq != log_next_seq);
 429                 if (ret)
 430                         goto out;
 431                 raw_spin_lock(&logbuf_lock);
 432         }
 433
 434         if (user->seq < log_first_seq) {
 435                 /* our last seen message is gone, return error and reset */
 436                 user->idx = log_first_idx;
 437                 user->seq = log_first_seq;
 438                 ret = -EPIPE;
 439                 raw_spin_unlock(&logbuf_lock);
 440                 goto out;
 441         }
 442
 443         msg = log_from_idx(user->idx);
 444         ts_usec = msg->ts_nsec;
 445         do_div(ts_usec, 1000);
 446         len = sprintf(user->buf, "%u,%llu,%llu;",
 447                       msg->level, user->seq, ts_usec);
 448
 449         /* escape non-printable characters */
 450         for (i = 0; i < msg->text_len; i++) {
 451                 unsigned char c = log_text(msg)[i];
 452
 453                 if (c < ' ' || c >= 128)
 454                         len += sprintf(user->buf + len, "\\x%02x", c);
 455                 else
 456                         user->buf[len++] = c;
 457         }
 458         user->buf[len++] = '\n';
 459
 460         if (msg->dict_len) {
 461                 bool line = true;
 462
 463                 for (i = 0; i < msg->dict_len; i++) {
 464                         unsigned char c = log_dict(msg)[i];
 465
 466                         if (line) {
 467                                 user->buf[len++] = ' ';
 468                                 line = false;
 469                         }
 470
 471                         if (c == '\0') {
 472                                 user->buf[len++] = '\n';
 473                                 line = true;
 474                                 continue;
 475                         }
 476
 477                         if (c < ' ' || c >= 128) {
 478                                 len += sprintf(user->buf + len, "\\x%02x", c);
 479                                 continue;
 480                         }
 481
 482                         user->buf[len++] = c;
 483                 }
 484                 user->buf[len++] = '\n';
 485         }
 486
 487         user->idx = log_next(user->idx);
 488         user->seq++;
 489         raw_spin_unlock(&logbuf_lock);
 490
 491         if (len > count) {
 492                 ret = -EINVAL;
 493                 goto out;
 494         }
 495
 496         if (copy_to_user(buf, user->buf, len)) {
 497                 ret = -EFAULT;
 498                 goto out;
 499         }
 500         ret = len;
 501 out:
 502         mutex_unlock(&user->lock);
 503         return ret;
 504 }
 505
 506 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
 507 {
 508         struct devkmsg_user *user = file->private_data;
 509         loff_t ret = 0;
 510
 511         if (!user)
 512                 return -EBADF;
 513         if (offset)
 514                 return -ESPIPE;
 515
 516         raw_spin_lock(&logbuf_lock);
 517         switch (whence) {
 518         case SEEK_SET:
 519                 /* the first record */
 520                 user->idx = log_first_idx;
 521                 user->seq = log_first_seq;
 522                 break;
 523         case SEEK_DATA:
 524                 /*
 525                  * The first record after the last SYSLOG_ACTION_CLEAR,
 526                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
 527                  * changes no global state, and does not clear anything.
 528                  */
 529                 user->idx = clear_idx;
 530                 user->seq = clear_seq;
 531                 break;
 532         case SEEK_END:
 533                 /* after the last record */
 534                 user->idx = log_next_idx;
 535                 user->seq = log_next_seq;
 536                 break;
 537         default:
 538                 ret = -EINVAL;
 539         }
 540         raw_spin_unlock(&logbuf_lock);
 541         return ret;
 542 }
 543
 544 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
 545 {
 546         struct devkmsg_user *user = file->private_data;
 547         int ret = 0;
 548
 549         if (!user)
 550                 return POLLERR|POLLNVAL;
 551
 552         poll_wait(file, &log_wait, wait);
 553
 554         raw_spin_lock(&logbuf_lock);
 555         if (user->seq < log_next_seq) {
 556                 /* return error when data has vanished underneath us */
 557                 if (user->seq < log_first_seq)
 558                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
 559                 ret = POLLIN|POLLRDNORM;
 560         }
 561         raw_spin_unlock(&logbuf_lock);
 562
 563         return ret;
 564 }
 565
 566 static int devkmsg_open(struct inode *inode, struct file *file)
 567 {
 568         struct devkmsg_user *user;
 569         int err;
 570
 571         /* write-only does not need any file context */
 572         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
 573                 return 0;
 574
 575         err = security_syslog(SYSLOG_ACTION_READ_ALL);
 576         if (err)
 577                 return err;
 578
 579         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
 580         if (!user)
 581                 return -ENOMEM;
 582
 583         mutex_init(&user->lock);
 584
 585         raw_spin_lock(&logbuf_lock);
 586         user->idx = log_first_idx;
 587         user->seq = log_first_seq;
 588         raw_spin_unlock(&logbuf_lock);
 589
 590         file->private_data = user;
 591         return 0;
 592 }
 593
 594 static int devkmsg_release(struct inode *inode, struct file *file)
 595 {
 596         struct devkmsg_user *user = file->private_data;
 597
 598         if (!user)
 599                 return 0;
 600
 601         mutex_destroy(&user->lock);
 602         kfree(user);
 603         return 0;
 604 }
 605
 606 const struct file_operations kmsg_fops = {
 607         .open = devkmsg_open,
 608         .read = devkmsg_read,
 609         .aio_write = devkmsg_writev,
 610         .llseek = devkmsg_llseek,
 611         .poll = devkmsg_poll,
 612         .release = devkmsg_release,
 613 };
 614
 615 #ifdef CONFIG_KEXEC
 616 /*
 617  * This appends the listed symbols to /proc/vmcoreinfo
 618  *
 619  * /proc/vmcoreinfo is used by various utiilties, like crash and makedumpfile to
 620  * obtain access to symbols that are otherwise very difficult to locate.  These
 621  * symbols are specifically used so that utilities can access and extract the
 622  * dmesg log from a vmcore file after a crash.
 623  */
 624 void log_buf_kexec_setup(void)
 625 {
 626         VMCOREINFO_SYMBOL(log_buf);
 627         VMCOREINFO_SYMBOL(log_buf_len);
 628         VMCOREINFO_SYMBOL(log_first_idx);
 629         VMCOREINFO_SYMBOL(log_next_idx);
 630 }
 631 #endif
 632
 633 /* requested log_buf_len from kernel cmdline */
 634 static unsigned long __initdata new_log_buf_len;
 635
 636 /* save requested log_buf_len since it's too early to process it */
 637 static int __init log_buf_len_setup(char *str)
 638 {
 639         unsigned size = memparse(str, &str);
 640
 641         if (size)
 642                 size = roundup_pow_of_two(size);
 643         if (size > log_buf_len)
 644                 new_log_buf_len = size;
 645
 646         return 0;
 647 }
 648 early_param("log_buf_len", log_buf_len_setup);
 649
 650 void __init setup_log_buf(int early)
 651 {
 652         unsigned long flags;
 653         char *new_log_buf;
 654         int free;
 655
 656         if (!new_log_buf_len)
 657                 return;
 658
 659         if (early) {
 660                 unsigned long mem;
 661
 662                 mem = memblock_alloc(new_log_buf_len, PAGE_SIZE);
 663                 if (!mem)
 664                         return;
 665                 new_log_buf = __va(mem);
 666         } else {
 667                 new_log_buf = alloc_bootmem_nopanic(new_log_buf_len);
 668         }
 669
 670         if (unlikely(!new_log_buf)) {
 671                 pr_err("log_buf_len: %ld bytes not available\n",
 672                         new_log_buf_len);
 673                 return;
 674         }
 675
 676         raw_spin_lock_irqsave(&logbuf_lock, flags);
 677         log_buf_len = new_log_buf_len;
 678         log_buf = new_log_buf;
 679         new_log_buf_len = 0;
 680         free = __LOG_BUF_LEN - log_next_idx;
 681         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
 682         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
 683
 684         pr_info("log_buf_len: %d\n", log_buf_len);
 685         pr_info("early log buf free: %d(%d%%)\n",
 686                 free, (free * 100) / __LOG_BUF_LEN);
 687 }
 688
 689 #ifdef CONFIG_BOOT_PRINTK_DELAY
 690
 691 static int boot_delay; /* msecs delay after each printk during bootup */
 692 static unsigned long long loops_per_msec;       /* based on boot_delay */
 693
 694 static int __init boot_delay_setup(char *str)
 695 {
 696         unsigned long lpj;
 697
 698         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
 699         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
 700
 701         get_option(&str, &boot_delay);
 702         if (boot_delay > 10 * 1000)
 703                 boot_delay = 0;
 704
 705         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
 706                 "HZ: %d, loops_per_msec: %llu\n",
 707                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
 708         return 1;
 709 }
 710 __setup("boot_delay=", boot_delay_setup);
 711
 712 static void boot_delay_msec(void)
 713 {
 714         unsigned long long k;
 715         unsigned long timeout;
 716
 717         if (boot_delay == 0 || system_state != SYSTEM_BOOTING)
 718                 return;
 719
 720         k = (unsigned long long)loops_per_msec * boot_delay;
 721
 722         timeout = jiffies + msecs_to_jiffies(boot_delay);
 723         while (k) {
 724                 k--;
 725                 cpu_relax();
 726                 /*
 727                  * use (volatile) jiffies to prevent
 728                  * compiler reduction; loop termination via jiffies
 729                  * is secondary and may or may not happen.
 730                  */
 731                 if (time_after(jiffies, timeout))
 732                         break;
 733                 touch_nmi_watchdog();
 734         }
 735 }
 736 #else
 737 static inline void boot_delay_msec(void)
 738 {
 739 }
 740 #endif
 741
 742 #ifdef CONFIG_SECURITY_DMESG_RESTRICT
 743 int dmesg_restrict = 1;
 744 #else
 745 int dmesg_restrict;
 746 #endif
 747
 748 static int syslog_action_restricted(int type)
 749 {
 750         if (dmesg_restrict)
 751                 return 1;
 752         /* Unless restricted, we allow "read all" and "get buffer size" for everybody */
 753         return type != SYSLOG_ACTION_READ_ALL && type != SYSLOG_ACTION_SIZE_BUFFER;
 754 }
 755
 756 static int check_syslog_permissions(int type, bool from_file)
 757 {
 758         /*
 759          * If this is from /proc/kmsg and we've already opened it, then we've
 760          * already done the capabilities checks at open time.
 761          */
 762         if (from_file && type != SYSLOG_ACTION_OPEN)
 763                 return 0;
 764
 765         if (syslog_action_restricted(type)) {
 766                 if (capable(CAP_SYSLOG))
 767                         return 0;
 768                 /* For historical reasons, accept CAP_SYS_ADMIN too, with a warning */
 769                 if (capable(CAP_SYS_ADMIN)) {
 770                         printk_once(KERN_WARNING "%s (%d): "
 771                                  "Attempt to access syslog with CAP_SYS_ADMIN "
 772                                  "but no CAP_SYSLOG (deprecated).\n",
 773                                  current->comm, task_pid_nr(current));
 774                         return 0;
 775                 }
 776                 return -EPERM;
 777         }
 778         return 0;
 779 }
 780
 781 #if defined(CONFIG_PRINTK_TIME)
 782 static bool printk_time = 1;
 783 #else
 784 static bool printk_time;
 785 #endif
 786 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
 787
 788 static size_t print_prefix(const struct log *msg, bool syslog, char *buf)
 789 {
 790         size_t len = 0;
 791
 792         if (syslog) {
 793                 if (buf) {
 794                         len += sprintf(buf, "<%u>", msg->level);
 795                 } else {
 796                         len += 3;
 797                         if (msg->level > 9)
 798                                 len++;
 799                         if (msg->level > 99)
 800                                 len++;
 801                 }
 802         }
 803
 804         if (printk_time) {
 805                 if (buf) {
 806                         unsigned long long ts = msg->ts_nsec;
 807                         unsigned long rem_nsec = do_div(ts, 1000000000);
 808
 809                         len += sprintf(buf + len, "[%5lu.%06lu] ",
 810                                          (unsigned long) ts, rem_nsec / 1000);
 811                 } else {
 812                         len += 15;
 813                 }
 814         }
 815
 816         return len;
 817 }
 818
 819 static size_t msg_print_text(const struct log *msg, bool syslog,
 820                              char *buf, size_t size)
 821 {
 822         const char *text = log_text(msg);
 823         size_t text_size = msg->text_len;
 824         size_t len = 0;
 825
 826         do {
 827                 const char *next = memchr(text, '\n', text_size);
 828                 size_t text_len;
 829
 830                 if (next) {
 831                         text_len = next - text;
 832                         next++;
 833                         text_size -= next - text;
 834                 } else {
 835                         text_len = text_size;
 836                 }
 837
 838                 if (buf) {
 839                         if (print_prefix(msg, syslog, NULL) +
 840                             text_len + 1>= size - len)
 841                                 break;
 842
 843                         len += print_prefix(msg, syslog, buf + len);
 844                         memcpy(buf + len, text, text_len);
 845                         len += text_len;
 846                         buf[len++] = '\n';
 847                 } else {
 848                         /* SYSLOG_ACTION_* buffer size only calculation */
 849                         len += print_prefix(msg, syslog, NULL);
 850                         len += text_len + 1;
 851                 }
 852
 853                 text = next;
 854         } while (text);
 855
 856         return len;
 857 }
 858
 859 static int syslog_print(char __user *buf, int size)
 860 {
 861         char *text;
 862         struct log *msg;
 863         int len;
 864
 865         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
 866         if (!text)
 867                 return -ENOMEM;
 868
 869         raw_spin_lock_irq(&logbuf_lock);
 870         if (syslog_seq < log_first_seq) {
 871                 /* messages are gone, move to first one */
 872                 syslog_seq = log_first_seq;
 873                 syslog_idx = log_first_idx;
 874         }
 875         msg = log_from_idx(syslog_idx);
 876         len = msg_print_text(msg, true, text, LOG_LINE_MAX);
 877         syslog_idx = log_next(syslog_idx);
 878         syslog_seq++;
 879         raw_spin_unlock_irq(&logbuf_lock);
 880
 881         if (len > 0 && copy_to_user(buf, text, len))
 882                 len = -EFAULT;
 883
 884         kfree(text);
 885         return len;
 886 }
 887
 888 static int syslog_print_all(char __user *buf, int size, bool clear)
 889 {
 890         char *text;
 891         int len = 0;
 892
 893         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
 894         if (!text)
 895                 return -ENOMEM;
 896
 897         raw_spin_lock_irq(&logbuf_lock);
 898         if (buf) {
 899                 u64 next_seq;
 900                 u64 seq;
 901                 u32 idx;
 902
 903                 if (clear_seq < log_first_seq) {
 904                         /* messages are gone, move to first available one */
 905                         clear_seq = log_first_seq;
 906                         clear_idx = log_first_idx;
 907                 }
 908
 909                 /*
 910                  * Find first record that fits, including all following records,
 911                  * into the user-provided buffer for this dump.
 912                 */
 913                 seq = clear_seq;
 914                 idx = clear_idx;
 915                 while (seq < log_next_seq) {
 916                         struct log *msg = log_from_idx(idx);
 917
 918                         len += msg_print_text(msg, true, NULL, 0);
 919                         idx = log_next(idx);
 920                         seq++;
 921                 }
 922                 seq = clear_seq;
 923                 idx = clear_idx;
 924                 while (len > size && seq < log_next_seq) {
 925                         struct log *msg = log_from_idx(idx);
 926
 927                         len -= msg_print_text(msg, true, NULL, 0);
 928                         idx = log_next(idx);
 929                         seq++;
 930                 }
 931
 932                 /* last message in this dump */
 933                 next_seq = log_next_seq;
 934
 935                 len = 0;
 936                 while (len >= 0 && seq < next_seq) {
 937                         struct log *msg = log_from_idx(idx);
 938                         int textlen;
 939
 940                         textlen = msg_print_text(msg, true, text, LOG_LINE_MAX);
 941                         if (textlen < 0) {
 942                                 len = textlen;
 943                                 break;
 944                         }
 945                         idx = log_next(idx);
 946                         seq++;
 947
 948                         raw_spin_unlock_irq(&logbuf_lock);
 949                         if (copy_to_user(buf + len, text, textlen))
 950                                 len = -EFAULT;
 951                         else
 952                                 len += textlen;
 953                         raw_spin_lock_irq(&logbuf_lock);
 954
 955                         if (seq < log_first_seq) {
 956                                 /* messages are gone, move to next one */
 957                                 seq = log_first_seq;
 958                                 idx = log_first_idx;
 959                         }
 960                 }
 961         }
 962
 963         if (clear) {
 964                 clear_seq = log_next_seq;
 965                 clear_idx = log_next_idx;
 966         }
 967         raw_spin_unlock_irq(&logbuf_lock);
 968
 969         kfree(text);
 970         return len;
 971 }
 972
 973 int do_syslog(int type, char __user *buf, int len, bool from_file)
 974 {
 975         bool clear = false;
 976         static int saved_console_loglevel = -1;
 977         int error;
 978
 979         error = check_syslog_permissions(type, from_file);
 980         if (error)
 981                 goto out;
 982
 983         error = security_syslog(type);
 984         if (error)
 985                 return error;
 986
 987         switch (type) {
 988         case SYSLOG_ACTION_CLOSE:       /* Close log */
 989                 break;
 990         case SYSLOG_ACTION_OPEN:        /* Open log */
 991                 break;
 992         case SYSLOG_ACTION_READ:        /* Read from log */
 993                 error = -EINVAL;
 994                 if (!buf || len < 0)
 995                         goto out;
 996                 error = 0;
 997                 if (!len)
 998                         goto out;
 999                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1000                         error = -EFAULT;
1001                         goto out;
1002                 }
1003                 error = wait_event_interruptible(log_wait,
1004                                                  syslog_seq != log_next_seq);
1005                 if (error)
1006                         goto out;
1007                 error = syslog_print(buf, len);
1008                 break;
1009         /* Read/clear last kernel messages */
1010         case SYSLOG_ACTION_READ_CLEAR:
1011                 clear = true;
1012                 /* FALL THRU */
1013         /* Read last kernel messages */
1014         case SYSLOG_ACTION_READ_ALL:
1015                 error = -EINVAL;
1016                 if (!buf || len < 0)
1017                         goto out;
1018                 error = 0;
1019                 if (!len)
1020                         goto out;
1021                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1022                         error = -EFAULT;
1023                         goto out;
1024                 }
1025                 error = syslog_print_all(buf, len, clear);
1026                 break;
1027         /* Clear ring buffer */
1028         case SYSLOG_ACTION_CLEAR:
1029                 syslog_print_all(NULL, 0, true);
1030         /* Disable logging to console */
1031         case SYSLOG_ACTION_CONSOLE_OFF:
1032                 if (saved_console_loglevel == -1)
1033                         saved_console_loglevel = console_loglevel;
1034                 console_loglevel = minimum_console_loglevel;
1035                 break;
1036         /* Enable logging to console */
1037         case SYSLOG_ACTION_CONSOLE_ON:
1038                 if (saved_console_loglevel != -1) {
1039                         console_loglevel = saved_console_loglevel;
1040                         saved_console_loglevel = -1;
1041                 }
1042                 break;
1043         /* Set level of messages printed to console */
1044         case SYSLOG_ACTION_CONSOLE_LEVEL:
1045                 error = -EINVAL;
1046                 if (len < 1 || len > 8)
1047                         goto out;
1048                 if (len < minimum_console_loglevel)
1049                         len = minimum_console_loglevel;
1050                 console_loglevel = len;
1051                 /* Implicitly re-enable logging to console */
1052                 saved_console_loglevel = -1;
1053                 error = 0;
1054                 break;
1055         /* Number of chars in the log buffer */
1056         case SYSLOG_ACTION_SIZE_UNREAD:
1057                 raw_spin_lock_irq(&logbuf_lock);
1058                 if (syslog_seq < log_first_seq) {
1059                         /* messages are gone, move to first one */
1060                         syslog_seq = log_first_seq;
1061                         syslog_idx = log_first_idx;
1062                 }
1063                 if (from_file) {
1064                         /*
1065                          * Short-cut for poll(/"proc/kmsg") which simply checks
1066                          * for pending data, not the size; return the count of
1067                          * records, not the length.
1068                          */
1069                         error = log_next_idx - syslog_idx;
1070                 } else {
1071                         u64 seq;
1072                         u32 idx;
1073
1074                         error = 0;
1075                         seq = syslog_seq;
1076                         idx = syslog_idx;
1077                         while (seq < log_next_seq) {
1078                                 struct log *msg = log_from_idx(idx);
1079
1080                                 error += msg_print_text(msg, true, NULL, 0);
1081                                 idx = log_next(idx);
1082                                 seq++;
1083                         }
1084                 }
1085                 raw_spin_unlock_irq(&logbuf_lock);
1086                 break;
1087         /* Size of the log buffer */
1088         case SYSLOG_ACTION_SIZE_BUFFER:
1089                 error = log_buf_len;
1090                 break;
1091         default:
1092                 error = -EINVAL;
1093                 break;
1094         }
1095 out:
1096         return error;
1097 }
1098
1099 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1100 {
1101         return do_syslog(type, buf, len, SYSLOG_FROM_CALL);
1102 }
1103
1104 #ifdef  CONFIG_KGDB_KDB
1105 /* kdb dmesg command needs access to the syslog buffer.  do_syslog()
1106  * uses locks so it cannot be used during debugging.  Just tell kdb
1107  * where the start and end of the physical and logical logs are.  This
1108  * is equivalent to do_syslog(3).
1109  */
1110 void kdb_syslog_data(char *syslog_data[4])
1111 {
1112         syslog_data[0] = log_buf;
1113         syslog_data[1] = log_buf + log_buf_len;
1114         syslog_data[2] = log_buf + log_first_idx;
1115         syslog_data[3] = log_buf + log_next_idx;
1116 }
1117 #endif  /* CONFIG_KGDB_KDB */
1118
1119 static bool __read_mostly ignore_loglevel;
1120
1121 static int __init ignore_loglevel_setup(char *str)
1122 {
1123         ignore_loglevel = 1;
1124         printk(KERN_INFO "debug: ignoring loglevel setting.\n");
1125
1126         return 0;
1127 }
1128
1129 early_param("ignore_loglevel", ignore_loglevel_setup);
1130 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
1131 MODULE_PARM_DESC(ignore_loglevel, "ignore loglevel setting, to"
1132         "print all kernel messages to the console.");
1133
1134 /*
1135  * Call the console drivers, asking them to write out
1136  * log_buf[start] to log_buf[end - 1].
1137  * The console_lock must be held.
1138  */
1139 static void call_console_drivers(int level, const char *text, size_t len)
1140 {
1141         struct console *con;
1142
1143         trace_console(text, 0, len, len);
1144
1145         if (level >= console_loglevel && !ignore_loglevel)
1146                 return;
1147         if (!console_drivers)
1148                 return;
1149
1150         for_each_console(con) {
1151                 if (exclusive_console && con != exclusive_console)
1152                         continue;
1153                 if (!(con->flags & CON_ENABLED))
1154                         continue;
1155                 if (!con->write)
1156                         continue;
1157                 if (!cpu_online(smp_processor_id()) &&
1158                     !(con->flags & CON_ANYTIME))
1159                         continue;
1160                 con->write(con, text, len);
1161         }
1162 }
1163
1164 /*
1165  * Zap console related locks when oopsing. Only zap at most once
1166  * every 10 seconds, to leave time for slow consoles to print a
1167  * full oops.
1168  */
1169 static void zap_locks(void)
1170 {
1171         static unsigned long oops_timestamp;
1172
1173         if (time_after_eq(jiffies, oops_timestamp) &&
1174                         !time_after(jiffies, oops_timestamp + 30 * HZ))
1175                 return;
1176
1177         oops_timestamp = jiffies;
1178
1179         debug_locks_off();
1180         /* If a crash is occurring, make sure we can't deadlock */
1181         raw_spin_lock_init(&logbuf_lock);
1182         /* And make sure that we print immediately */
1183         sema_init(&console_sem, 1);
1184 }
1185
1186 /* Check if we have any console registered that can be called early in boot. */
1187 static int have_callable_console(void)
1188 {
1189         struct console *con;
1190
1191         for_each_console(con)
1192                 if (con->flags & CON_ANYTIME)
1193                         return 1;
1194
1195         return 0;
1196 }
1197
1198 /*
1199  * Can we actually use the console at this time on this cpu?
1200  *
1201  * Console drivers may assume that per-cpu resources have
1202  * been allocated. So unless they're explicitly marked as
1203  * being able to cope (CON_ANYTIME) don't call them until
1204  * this CPU is officially up.
1205  */
1206 static inline int can_use_console(unsigned int cpu)
1207 {
1208         return cpu_online(cpu) || have_callable_console();
1209 }
1210
1211 /*
1212  * Try to get console ownership to actually show the kernel
1213  * messages from a 'printk'. Return true (and with the
1214  * console_lock held, and 'console_locked' set) if it
1215  * is successful, false otherwise.
1216  *
1217  * This gets called with the 'logbuf_lock' spinlock held and
1218  * interrupts disabled. It should return with 'lockbuf_lock'
1219  * released but interrupts still disabled.
1220  */
1221 static int console_trylock_for_printk(unsigned int cpu)
1222         __releases(&logbuf_lock)
1223 {
1224         int retval = 0, wake = 0;
1225
1226         if (console_trylock()) {
1227                 retval = 1;
1228
1229                 /*
1230                  * If we can't use the console, we need to release
1231                  * the console semaphore by hand to avoid flushing
1232                  * the buffer. We need to hold the console semaphore
1233                  * in order to do this test safely.
1234                  */
1235                 if (!can_use_console(cpu)) {
1236                         console_locked = 0;
1237                         wake = 1;
1238                         retval = 0;
1239                 }
1240         }
1241         logbuf_cpu = UINT_MAX;
1242         if (wake)
1243                 up(&console_sem);
1244         raw_spin_unlock(&logbuf_lock);
1245         return retval;
1246 }
1247
1248 int printk_delay_msec __read_mostly;
1249
1250 static inline void printk_delay(void)
1251 {
1252         if (unlikely(printk_delay_msec)) {
1253                 int m = printk_delay_msec;
1254
1255                 while (m--) {
1256                         mdelay(1);
1257                         touch_nmi_watchdog();
1258                 }
1259         }
1260 }
1261
1262 asmlinkage int vprintk_emit(int facility, int level,
1263                             const char *dict, size_t dictlen,
1264                             const char *fmt, va_list args)
1265 {
1266         static int recursion_bug;
1267         static char cont_buf[LOG_LINE_MAX];
1268         static size_t cont_len;
1269         static int cont_level;
1270         static struct task_struct *cont_task;
1271         static char textbuf[LOG_LINE_MAX];
1272         char *text = textbuf;
1273         size_t text_len;
1274         unsigned long flags;
1275         int this_cpu;
1276         bool newline = false;
1277         bool prefix = false;
1278         int printed_len = 0;
1279
1280         boot_delay_msec();
1281         printk_delay();
1282
1283         /* This stops the holder of console_sem just where we want him */
1284         local_irq_save(flags);
1285         this_cpu = smp_processor_id();
1286
1287         /*
1288          * Ouch, printk recursed into itself!
1289          */
1290         if (unlikely(logbuf_cpu == this_cpu)) {
1291                 /*
1292                  * If a crash is occurring during printk() on this CPU,
1293                  * then try to get the crash message out but make sure
1294                  * we can't deadlock. Otherwise just return to avoid the
1295                  * recursion and return - but flag the recursion so that
1296                  * it can be printed at the next appropriate moment:
1297                  */
1298                 if (!oops_in_progress && !lockdep_recursing(current)) {
1299                         recursion_bug = 1;
1300                         goto out_restore_irqs;
1301                 }
1302                 zap_locks();
1303         }
1304
1305         lockdep_off();
1306         raw_spin_lock(&logbuf_lock);
1307         logbuf_cpu = this_cpu;
1308
1309         if (recursion_bug) {
1310                 static const char recursion_msg[] =
1311                         "BUG: recent printk recursion!";
1312
1313                 recursion_bug = 0;
1314                 printed_len += strlen(recursion_msg);
1315                 /* emit KERN_CRIT message */
1316                 log_store(0, 2, NULL, 0, recursion_msg, printed_len);
1317         }
1318
1319         /*
1320          * The printf needs to come first; we need the syslog
1321          * prefix which might be passed-in as a parameter.
1322          */
1323         text_len = vscnprintf(text, sizeof(textbuf), fmt, args);
1324
1325         /* mark and strip a trailing newline */
1326         if (text_len && text[text_len-1] == '\n') {
1327                 text_len--;
1328                 newline = true;
1329         }
1330
1331         /* strip syslog prefix and extract log level or control flags */
1332         if (text[0] == '<' && text[1] && text[2] == '>') {
1333                 switch (text[1]) {
1334                 case '0' ... '7':
1335                         if (level == -1)
1336                                 level = text[1] - '0';
1337                 case 'd':       /* KERN_DEFAULT */
1338                         prefix = true;
1339                 case 'c':       /* KERN_CONT */
1340                         text += 3;
1341                         text_len -= 3;
1342                 }
1343         }
1344
1345         if (level == -1)
1346                 level = default_message_loglevel;
1347
1348         if (dict) {
1349                 prefix = true;
1350                 newline = true;
1351         }
1352
1353         if (!newline) {
1354                 if (cont_len && (prefix || cont_task != current)) {
1355                         /*
1356                          * Flush earlier buffer, which is either from a
1357                          * different thread, or when we got a new prefix.
1358                          */
1359                         log_store(facility, cont_level, NULL, 0, cont_buf, cont_len);
1360                         cont_len = 0;
1361                 }
1362
1363                 if (!cont_len) {
1364                         cont_level = level;
1365                         cont_task = current;
1366                 }
1367
1368                 /* buffer or append to earlier buffer from the same thread */
1369                 if (cont_len + text_len > sizeof(cont_buf))
1370                         text_len = sizeof(cont_buf) - cont_len;
1371                 memcpy(cont_buf + cont_len, text, text_len);
1372                 cont_len += text_len;
1373         } else {
1374                 if (cont_len && cont_task == current) {
1375                         if (prefix) {
1376                                 /*
1377                                  * New prefix from the same thread; flush. We
1378                                  * either got no earlier newline, or we race
1379                                  * with an interrupt.
1380                                  */
1381                                 log_store(facility, cont_level,
1382                                           NULL, 0, cont_buf, cont_len);
1383                                 cont_len = 0;
1384                         }
1385
1386                         /* append to the earlier buffer and flush */
1387                         if (cont_len + text_len > sizeof(cont_buf))
1388                                 text_len = sizeof(cont_buf) - cont_len;
1389                         memcpy(cont_buf + cont_len, text, text_len);
1390                         cont_len += text_len;
1391                         log_store(facility, cont_level,
1392                                   NULL, 0, cont_buf, cont_len);
1393                         cont_len = 0;
1394                         cont_task = NULL;
1395                         printed_len = cont_len;
1396                 } else {
1397                         /* ordinary single and terminated line */
1398                         log_store(facility, level,
1399                                   dict, dictlen, text, text_len);
1400                         printed_len = text_len;
1401                 }
1402         }
1403
1404         /*
1405          * Try to acquire and then immediately release the console semaphore.
1406          * The release will print out buffers and wake up /dev/kmsg and syslog()
1407          * users.
1408          *
1409          * The console_trylock_for_printk() function will release 'logbuf_lock'
1410          * regardless of whether it actually gets the console semaphore or not.
1411          */
1412         if (console_trylock_for_printk(this_cpu))
1413                 console_unlock();
1414
1415         lockdep_on();
1416 out_restore_irqs:
1417         local_irq_restore(flags);
1418
1419         return printed_len;
1420 }
1421 EXPORT_SYMBOL(vprintk_emit);
1422
1423 asmlinkage int vprintk(const char *fmt, va_list args)
1424 {
1425         return vprintk_emit(0, -1, NULL, 0, fmt, args);
1426 }
1427 EXPORT_SYMBOL(vprintk);
1428
1429 asmlinkage int printk_emit(int facility, int level,
1430                            const char *dict, size_t dictlen,
1431                            const char *fmt, ...)
1432 {
1433         va_list args;
1434         int r;
1435
1436         va_start(args, fmt);
1437         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1438         va_end(args);
1439
1440         return r;
1441 }
1442 EXPORT_SYMBOL(printk_emit);
1443
1444 /**
1445  * printk - print a kernel message
1446  * @fmt: format string
1447  *
1448  * This is printk(). It can be called from any context. We want it to work.
1449  *
1450  * We try to grab the console_lock. If we succeed, it's easy - we log the
1451  * output and call the console drivers.  If we fail to get the semaphore, we
1452  * place the output into the log buffer and return. The current holder of
1453  * the console_sem will notice the new output in console_unlock(); and will
1454  * send it to the consoles before releasing the lock.
1455  *
1456  * One effect of this deferred printing is that code which calls printk() and
1457  * then changes console_loglevel may break. This is because console_loglevel
1458  * is inspected when the actual printing occurs.
1459  *
1460  * See also:
1461  * printf(3)
1462  *
1463  * See the vsnprintf() documentation for format string extensions over C99.
1464  */
1465 asmlinkage int printk(const char *fmt, ...)
1466 {
1467         va_list args;
1468         int r;
1469
1470 #ifdef CONFIG_KGDB_KDB
1471         if (unlikely(kdb_trap_printk)) {
1472                 va_start(args, fmt);
1473                 r = vkdb_printf(fmt, args);
1474                 va_end(args);
1475                 return r;
1476         }
1477 #endif
1478         va_start(args, fmt);
1479         r = vprintk_emit(0, -1, NULL, 0, fmt, args);
1480         va_end(args);
1481
1482         return r;
1483 }
1484 EXPORT_SYMBOL(printk);
1485
1486 #else
1487
1488 #define LOG_LINE_MAX 0
1489 static struct log *log_from_idx(u32 idx) { return NULL; }
1490 static u32 log_next(u32 idx) { return 0; }
1491 static void call_console_drivers(int level, const char *text, size_t len) {}
1492 static size_t msg_print_text(const struct log *msg, bool syslog,
1493                              char *buf, size_t size) { return 0; }
1494
1495 #endif /* CONFIG_PRINTK */
1496
1497 static int __add_preferred_console(char *name, int idx, char *options,
1498                                    char *brl_options)
1499 {
1500         struct console_cmdline *c;
1501         int i;
1502
1503         /*
1504          *      See if this tty is not yet registered, and
1505          *      if we have a slot free.
1506          */
1507         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1508                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1509                           console_cmdline[i].index == idx) {
1510                                 if (!brl_options)
1511                                         selected_console = i;
1512                                 return 0;
1513                 }
1514         if (i == MAX_CMDLINECONSOLES)
1515                 return -E2BIG;
1516         if (!brl_options)
1517                 selected_console = i;
1518         c = &console_cmdline[i];
1519         strlcpy(c->name, name, sizeof(c->name));
1520         c->options = options;
1521 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1522         c->brl_options = brl_options;
1523 #endif
1524         c->index = idx;
1525         return 0;
1526 }
1527 /*
1528  * Set up a list of consoles.  Called from init/main.c
1529  */
1530 static int __init console_setup(char *str)
1531 {
1532         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for index */
1533         char *s, *options, *brl_options = NULL;
1534         int idx;
1535
1536 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1537         if (!memcmp(str, "brl,", 4)) {
1538                 brl_options = "";
1539                 str += 4;
1540         } else if (!memcmp(str, "brl=", 4)) {
1541                 brl_options = str + 4;
1542                 str = strchr(brl_options, ',');
1543                 if (!str) {
1544                         printk(KERN_ERR "need port name after brl=\n");
1545                         return 1;
1546                 }
1547                 *(str++) = 0;
1548         }
1549 #endif
1550
1551         /*
1552          * Decode str into name, index, options.
1553          */
1554         if (str[0] >= '0' && str[0] <= '9') {
1555                 strcpy(buf, "ttyS");
1556                 strncpy(buf + 4, str, sizeof(buf) - 5);
1557         } else {
1558                 strncpy(buf, str, sizeof(buf) - 1);
1559         }
1560         buf[sizeof(buf) - 1] = 0;
1561         if ((options = strchr(str, ',')) != NULL)
1562                 *(options++) = 0;
1563 #ifdef __sparc__
1564         if (!strcmp(str, "ttya"))
1565                 strcpy(buf, "ttyS0");
1566         if (!strcmp(str, "ttyb"))
1567                 strcpy(buf, "ttyS1");
1568 #endif
1569         for (s = buf; *s; s++)
1570                 if ((*s >= '0' && *s <= '9') || *s == ',')
1571                         break;
1572         idx = simple_strtoul(s, NULL, 10);
1573         *s = 0;
1574
1575         __add_preferred_console(buf, idx, options, brl_options);
1576         console_set_on_cmdline = 1;
1577         return 1;
1578 }
1579 __setup("console=", console_setup);
1580
1581 /**
1582  * add_preferred_console - add a device to the list of preferred consoles.
1583  * @name: device name
1584  * @idx: device index
1585  * @options: options for this console
1586  *
1587  * The last preferred console added will be used for kernel messages
1588  * and stdin/out/err for init.  Normally this is used by console_setup
1589  * above to handle user-supplied console arguments; however it can also
1590  * be used by arch-specific code either to override the user or more
1591  * commonly to provide a default console (ie from PROM variables) when
1592  * the user has not supplied one.
1593  */
1594 int add_preferred_console(char *name, int idx, char *options)
1595 {
1596         return __add_preferred_console(name, idx, options, NULL);
1597 }
1598
1599 int update_console_cmdline(char *name, int idx, char *name_new, int idx_new, char *options)
1600 {
1601         struct console_cmdline *c;
1602         int i;
1603
1604         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1605                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1606                           console_cmdline[i].index == idx) {
1607                                 c = &console_cmdline[i];
1608                                 strlcpy(c->name, name_new, sizeof(c->name));
1609                                 c->name[sizeof(c->name) - 1] = 0;
1610                                 c->options = options;
1611                                 c->index = idx_new;
1612                                 return i;
1613                 }
1614         /* not found */
1615         return -1;
1616 }
1617
1618 bool console_suspend_enabled = 1;
1619 EXPORT_SYMBOL(console_suspend_enabled);
1620
1621 static int __init console_suspend_disable(char *str)
1622 {
1623         console_suspend_enabled = 0;
1624         return 1;
1625 }
1626 __setup("no_console_suspend", console_suspend_disable);
1627 module_param_named(console_suspend, console_suspend_enabled,
1628                 bool, S_IRUGO | S_IWUSR);
1629 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
1630         " and hibernate operations");
1631
1632 /**
1633  * suspend_console - suspend the console subsystem
1634  *
1635  * This disables printk() while we go into suspend states
1636  */
1637 void suspend_console(void)
1638 {
1639         if (!console_suspend_enabled)
1640                 return;
1641         printk("Suspending console(s) (use no_console_suspend to debug)\n");
1642         console_lock();
1643         console_suspended = 1;
1644         up(&console_sem);
1645 }
1646
1647 void resume_console(void)
1648 {
1649         if (!console_suspend_enabled)
1650                 return;
1651         down(&console_sem);
1652         console_suspended = 0;
1653         console_unlock();
1654 }
1655
1656 /**
1657  * console_cpu_notify - print deferred console messages after CPU hotplug
1658  * @self: notifier struct
1659  * @action: CPU hotplug event
1660  * @hcpu: unused
1661  *
1662  * If printk() is called from a CPU that is not online yet, the messages
1663  * will be spooled but will not show up on the console.  This function is
1664  * called when a new CPU comes online (or fails to come up), and ensures
1665  * that any such output gets printed.
1666  */
1667 static int __cpuinit console_cpu_notify(struct notifier_block *self,
1668         unsigned long action, void *hcpu)
1669 {
1670         switch (action) {
1671         case CPU_ONLINE:
1672         case CPU_DEAD:
1673         case CPU_DYING:
1674         case CPU_DOWN_FAILED:
1675         case CPU_UP_CANCELED:
1676                 console_lock();
1677                 console_unlock();
1678         }
1679         return NOTIFY_OK;
1680 }
1681
1682 /**
1683  * console_lock - lock the console system for exclusive use.
1684  *
1685  * Acquires a lock which guarantees that the caller has
1686  * exclusive access to the console system and the console_drivers list.
1687  *
1688  * Can sleep, returns nothing.
1689  */
1690 void console_lock(void)
1691 {
1692         BUG_ON(in_interrupt());
1693         down(&console_sem);
1694         if (console_suspended)
1695                 return;
1696         console_locked = 1;
1697         console_may_schedule = 1;
1698 }
1699 EXPORT_SYMBOL(console_lock);
1700
1701 /**
1702  * console_trylock - try to lock the console system for exclusive use.
1703  *
1704  * Tried to acquire a lock which guarantees that the caller has
1705  * exclusive access to the console system and the console_drivers list.
1706  *
1707  * returns 1 on success, and 0 on failure to acquire the lock.
1708  */
1709 int console_trylock(void)
1710 {
1711         if (down_trylock(&console_sem))
1712                 return 0;
1713         if (console_suspended) {
1714                 up(&console_sem);
1715                 return 0;
1716         }
1717         console_locked = 1;
1718         console_may_schedule = 0;
1719         return 1;
1720 }
1721 EXPORT_SYMBOL(console_trylock);
1722
1723 int is_console_locked(void)
1724 {
1725         return console_locked;
1726 }
1727
1728 /*
1729  * Delayed printk version, for scheduler-internal messages:
1730  */
1731 #define PRINTK_BUF_SIZE         512
1732
1733 #define PRINTK_PENDING_WAKEUP   0x01
1734 #define PRINTK_PENDING_SCHED    0x02
1735
1736 static DEFINE_PER_CPU(int, printk_pending);
1737 static DEFINE_PER_CPU(char [PRINTK_BUF_SIZE], printk_sched_buf);
1738
1739 void printk_tick(void)
1740 {
1741         if (__this_cpu_read(printk_pending)) {
1742                 int pending = __this_cpu_xchg(printk_pending, 0);
1743                 if (pending & PRINTK_PENDING_SCHED) {
1744                         char *buf = __get_cpu_var(printk_sched_buf);
1745                         printk(KERN_WARNING "[sched_delayed] %s", buf);
1746                 }
1747                 if (pending & PRINTK_PENDING_WAKEUP)
1748                         wake_up_interruptible(&log_wait);
1749         }
1750 }
1751
1752 int printk_needs_cpu(int cpu)
1753 {
1754         if (cpu_is_offline(cpu))
1755                 printk_tick();
1756         return __this_cpu_read(printk_pending);
1757 }
1758
1759 void wake_up_klogd(void)
1760 {
1761         if (waitqueue_active(&log_wait))
1762                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
1763 }
1764
1765 /* the next printk record to write to the console */
1766 static u64 console_seq;
1767 static u32 console_idx;
1768
1769 /**
1770  * console_unlock - unlock the console system
1771  *
1772  * Releases the console_lock which the caller holds on the console system
1773  * and the console driver list.
1774  *
1775  * While the console_lock was held, console output may have been buffered
1776  * by printk().  If this is the case, console_unlock(); emits
1777  * the output prior to releasing the lock.
1778  *
1779  * If there is output waiting, we wake /dev/kmsg and syslog() users.
1780  *
1781  * console_unlock(); may be called from any context.
1782  */
1783 void console_unlock(void)
1784 {
1785         static u64 seen_seq;
1786         unsigned long flags;
1787         bool wake_klogd = false;
1788         bool retry;
1789
1790         if (console_suspended) {
1791                 up(&console_sem);
1792                 return;
1793         }
1794
1795         console_may_schedule = 0;
1796
1797 again:
1798         for (;;) {
1799                 struct log *msg;
1800                 static char text[LOG_LINE_MAX];
1801                 size_t len;
1802                 int level;
1803
1804                 raw_spin_lock_irqsave(&logbuf_lock, flags);
1805                 if (seen_seq != log_next_seq) {
1806                         wake_klogd = true;
1807                         seen_seq = log_next_seq;
1808                 }
1809
1810                 if (console_seq < log_first_seq) {
1811                         /* messages are gone, move to first one */
1812                         console_seq = log_first_seq;
1813                         console_idx = log_first_idx;
1814                 }
1815
1816                 if (console_seq == log_next_seq)
1817                         break;
1818
1819                 msg = log_from_idx(console_idx);
1820                 level = msg->level & 7;
1821
1822                 len = msg_print_text(msg, false, text, sizeof(text));
1823
1824                 console_idx = log_next(console_idx);
1825                 console_seq++;
1826                 raw_spin_unlock(&logbuf_lock);
1827
1828                 stop_critical_timings();        /* don't trace print latency */
1829                 call_console_drivers(level, text, len);
1830                 start_critical_timings();
1831                 local_irq_restore(flags);
1832         }
1833         console_locked = 0;
1834
1835         /* Release the exclusive_console once it is used */
1836         if (unlikely(exclusive_console))
1837                 exclusive_console = NULL;
1838
1839         raw_spin_unlock(&logbuf_lock);
1840
1841         up(&console_sem);
1842
1843         /*
1844          * Someone could have filled up the buffer again, so re-check if there's
1845          * something to flush. In case we cannot trylock the console_sem again,
1846          * there's a new owner and the console_unlock() from them will do the
1847          * flush, no worries.
1848          */
1849         raw_spin_lock(&logbuf_lock);
1850         retry = console_seq != log_next_seq;
1851         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
1852
1853         if (retry && console_trylock())
1854                 goto again;
1855
1856         if (wake_klogd)
1857                 wake_up_klogd();
1858 }
1859 EXPORT_SYMBOL(console_unlock);
1860
1861 /**
1862  * console_conditional_schedule - yield the CPU if required
1863  *
1864  * If the console code is currently allowed to sleep, and
1865  * if this CPU should yield the CPU to another task, do
1866  * so here.
1867  *
1868  * Must be called within console_lock();.
1869  */
1870 void __sched console_conditional_schedule(void)
1871 {
1872         if (console_may_schedule)
1873                 cond_resched();
1874 }
1875 EXPORT_SYMBOL(console_conditional_schedule);
1876
1877 void console_unblank(void)
1878 {
1879         struct console *c;
1880
1881         /*
1882          * console_unblank can no longer be called in interrupt context unless
1883          * oops_in_progress is set to 1..
1884          */
1885         if (oops_in_progress) {
1886                 if (down_trylock(&console_sem) != 0)
1887                         return;
1888         } else
1889                 console_lock();
1890
1891         console_locked = 1;
1892         console_may_schedule = 0;
1893         for_each_console(c)
1894                 if ((c->flags & CON_ENABLED) && c->unblank)
1895                         c->unblank();
1896         console_unlock();
1897 }
1898
1899 /*
1900  * Return the console tty driver structure and its associated index
1901  */
1902 struct tty_driver *console_device(int *index)
1903 {
1904         struct console *c;
1905         struct tty_driver *driver = NULL;
1906
1907         console_lock();
1908         for_each_console(c) {
1909                 if (!c->device)
1910                         continue;
1911                 driver = c->device(c, index);
1912                 if (driver)
1913                         break;
1914         }
1915         console_unlock();
1916         return driver;
1917 }
1918
1919 /*
1920  * Prevent further output on the passed console device so that (for example)
1921  * serial drivers can disable console output before suspending a port, and can
1922  * re-enable output afterwards.
1923  */
1924 void console_stop(struct console *console)
1925 {
1926         console_lock();
1927         console->flags &= ~CON_ENABLED;
1928         console_unlock();
1929 }
1930 EXPORT_SYMBOL(console_stop);
1931
1932 void console_start(struct console *console)
1933 {
1934         console_lock();
1935         console->flags |= CON_ENABLED;
1936         console_unlock();
1937 }
1938 EXPORT_SYMBOL(console_start);
1939
1940 static int __read_mostly keep_bootcon;
1941
1942 static int __init keep_bootcon_setup(char *str)
1943 {
1944         keep_bootcon = 1;
1945         printk(KERN_INFO "debug: skip boot console de-registration.\n");
1946
1947         return 0;
1948 }
1949
1950 early_param("keep_bootcon", keep_bootcon_setup);
1951
1952 /*
1953  * The console driver calls this routine during kernel initialization
1954  * to register the console printing procedure with printk() and to
1955  * print any messages that were printed by the kernel before the
1956  * console driver was initialized.
1957  *
1958  * This can happen pretty early during the boot process (because of
1959  * early_printk) - sometimes before setup_arch() completes - be careful
1960  * of what kernel features are used - they may not be initialised yet.
1961  *
1962  * There are two types of consoles - bootconsoles (early_printk) and
1963  * "real" consoles (everything which is not a bootconsole) which are
1964  * handled differently.
1965  *  - Any number of bootconsoles can be registered at any time.
1966  *  - As soon as a "real" console is registered, all bootconsoles
1967  *    will be unregistered automatically.
1968  *  - Once a "real" console is registered, any attempt to register a
1969  *    bootconsoles will be rejected
1970  */
1971 void register_console(struct console *newcon)
1972 {
1973         int i;
1974         unsigned long flags;
1975         struct console *bcon = NULL;
1976
1977         /*
1978          * before we register a new CON_BOOT console, make sure we don't
1979          * already have a valid console
1980          */
1981         if (console_drivers && newcon->flags & CON_BOOT) {
1982                 /* find the last or real console */
1983                 for_each_console(bcon) {
1984                         if (!(bcon->flags & CON_BOOT)) {
1985                                 printk(KERN_INFO "Too late to register bootconsole %s%d\n",
1986                                         newcon->name, newcon->index);
1987                                 return;
1988                         }
1989                 }
1990         }
1991
1992         if (console_drivers && console_drivers->flags & CON_BOOT)
1993                 bcon = console_drivers;
1994
1995         if (preferred_console < 0 || bcon || !console_drivers)
1996                 preferred_console = selected_console;
1997
1998         if (newcon->early_setup)
1999                 newcon->early_setup();
2000
2001         /*
2002          *      See if we want to use this console driver. If we
2003          *      didn't select a console we take the first one
2004          *      that registers here.
2005          */
2006         if (preferred_console < 0) {
2007                 if (newcon->index < 0)
2008                         newcon->index = 0;
2009                 if (newcon->setup == NULL ||
2010                     newcon->setup(newcon, NULL) == 0) {
2011                         newcon->flags |= CON_ENABLED;
2012                         if (newcon->device) {
2013                                 newcon->flags |= CON_CONSDEV;
2014                                 preferred_console = 0;
2015                         }
2016                 }
2017         }
2018
2019         /*
2020          *      See if this console matches one we selected on
2021          *      the command line.
2022          */
2023         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0];
2024                         i++) {
2025                 if (strcmp(console_cmdline[i].name, newcon->name) != 0)
2026                         continue;
2027                 if (newcon->index >= 0 &&
2028                     newcon->index != console_cmdline[i].index)
2029                         continue;
2030                 if (newcon->index < 0)
2031                         newcon->index = console_cmdline[i].index;
2032 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2033                 if (console_cmdline[i].brl_options) {
2034                         newcon->flags |= CON_BRL;
2035                         braille_register_console(newcon,
2036                                         console_cmdline[i].index,
2037                                         console_cmdline[i].options,
2038                                         console_cmdline[i].brl_options);
2039                         return;
2040                 }
2041 #endif
2042                 if (newcon->setup &&
2043                     newcon->setup(newcon, console_cmdline[i].options) != 0)
2044                         break;
2045                 newcon->flags |= CON_ENABLED;
2046                 newcon->index = console_cmdline[i].index;
2047                 if (i == selected_console) {
2048                         newcon->flags |= CON_CONSDEV;
2049                         preferred_console = selected_console;
2050                 }
2051                 break;
2052         }
2053
2054         if (!(newcon->flags & CON_ENABLED))
2055                 return;
2056
2057         /*
2058          * If we have a bootconsole, and are switching to a real console,
2059          * don't print everything out again, since when the boot console, and
2060          * the real console are the same physical device, it's annoying to
2061          * see the beginning boot messages twice
2062          */
2063         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2064                 newcon->flags &= ~CON_PRINTBUFFER;
2065
2066         /*
2067          *      Put this console in the list - keep the
2068          *      preferred driver at the head of the list.
2069          */
2070         console_lock();
2071         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2072                 newcon->next = console_drivers;
2073                 console_drivers = newcon;
2074                 if (newcon->next)
2075                         newcon->next->flags &= ~CON_CONSDEV;
2076         } else {
2077                 newcon->next = console_drivers->next;
2078                 console_drivers->next = newcon;
2079         }
2080         if (newcon->flags & CON_PRINTBUFFER) {
2081                 /*
2082                  * console_unlock(); will print out the buffered messages
2083                  * for us.
2084                  */
2085                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2086                 console_seq = syslog_seq;
2087                 console_idx = syslog_idx;
2088                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2089                 /*
2090                  * We're about to replay the log buffer.  Only do this to the
2091                  * just-registered console to avoid excessive message spam to
2092                  * the already-registered consoles.
2093                  */
2094                 exclusive_console = newcon;
2095         }
2096         console_unlock();
2097         console_sysfs_notify();
2098
2099         /*
2100          * By unregistering the bootconsoles after we enable the real console
2101          * we get the "console xxx enabled" message on all the consoles -
2102          * boot consoles, real consoles, etc - this is to ensure that end
2103          * users know there might be something in the kernel's log buffer that
2104          * went to the bootconsole (that they do not see on the real console)
2105          */
2106         if (bcon &&
2107             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2108             !keep_bootcon) {
2109                 /* we need to iterate through twice, to make sure we print
2110                  * everything out, before we unregister the console(s)
2111                  */
2112                 printk(KERN_INFO "console [%s%d] enabled, bootconsole disabled\n",
2113                         newcon->name, newcon->index);
2114                 for_each_console(bcon)
2115                         if (bcon->flags & CON_BOOT)
2116                                 unregister_console(bcon);
2117         } else {
2118                 printk(KERN_INFO "%sconsole [%s%d] enabled\n",
2119                         (newcon->flags & CON_BOOT) ? "boot" : "" ,
2120                         newcon->name, newcon->index);
2121         }
2122 }
2123 EXPORT_SYMBOL(register_console);
2124
2125 int unregister_console(struct console *console)
2126 {
2127         struct console *a, *b;
2128         int res = 1;
2129
2130 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2131         if (console->flags & CON_BRL)
2132                 return braille_unregister_console(console);
2133 #endif
2134
2135         console_lock();
2136         if (console_drivers == console) {
2137                 console_drivers=console->next;
2138                 res = 0;
2139         } else if (console_drivers) {
2140                 for (a=console_drivers->next, b=console_drivers ;
2141                      a; b=a, a=b->next) {
2142                         if (a == console) {
2143                                 b->next = a->next;
2144                                 res = 0;
2145                                 break;
2146                         }
2147                 }
2148         }
2149
2150         /*
2151          * If this isn't the last console and it has CON_CONSDEV set, we
2152          * need to set it on the next preferred console.
2153          */
2154         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2155                 console_drivers->flags |= CON_CONSDEV;
2156
2157         console_unlock();
2158         console_sysfs_notify();
2159         return res;
2160 }
2161 EXPORT_SYMBOL(unregister_console);
2162
2163 static int __init printk_late_init(void)
2164 {
2165         struct console *con;
2166
2167         for_each_console(con) {
2168                 if (!keep_bootcon && con->flags & CON_BOOT) {
2169                         printk(KERN_INFO "turn off boot console %s%d\n",
2170                                 con->name, con->index);
2171                         unregister_console(con);
2172                 }
2173         }
2174         hotcpu_notifier(console_cpu_notify, 0);
2175         return 0;
2176 }
2177 late_initcall(printk_late_init);
2178
2179 #if defined CONFIG_PRINTK
2180
2181 int printk_sched(const char *fmt, ...)
2182 {
2183         unsigned long flags;
2184         va_list args;
2185         char *buf;
2186         int r;
2187
2188         local_irq_save(flags);
2189         buf = __get_cpu_var(printk_sched_buf);
2190
2191         va_start(args, fmt);
2192         r = vsnprintf(buf, PRINTK_BUF_SIZE, fmt, args);
2193         va_end(args);
2194
2195         __this_cpu_or(printk_pending, PRINTK_PENDING_SCHED);
2196         local_irq_restore(flags);
2197
2198         return r;
2199 }
2200
2201 /*
2202  * printk rate limiting, lifted from the networking subsystem.
2203  *
2204  * This enforces a rate limit: not more than 10 kernel messages
2205  * every 5s to make a denial-of-service attack impossible.
2206  */
2207 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2208
2209 int __printk_ratelimit(const char *func)
2210 {
2211         return ___ratelimit(&printk_ratelimit_state, func);
2212 }
2213 EXPORT_SYMBOL(__printk_ratelimit);
2214
2215 /**
2216  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2217  * @caller_jiffies: pointer to caller's state
2218  * @interval_msecs: minimum interval between prints
2219  *
2220  * printk_timed_ratelimit() returns true if more than @interval_msecs
2221  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2222  * returned true.
2223  */
2224 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2225                         unsigned int interval_msecs)
2226 {
2227         if (*caller_jiffies == 0
2228                         || !time_in_range(jiffies, *caller_jiffies,
2229                                         *caller_jiffies
2230                                         + msecs_to_jiffies(interval_msecs))) {
2231                 *caller_jiffies = jiffies;
2232                 return true;
2233         }
2234         return false;
2235 }
2236 EXPORT_SYMBOL(printk_timed_ratelimit);
2237
2238 static DEFINE_SPINLOCK(dump_list_lock);
2239 static LIST_HEAD(dump_list);
2240
2241 /**
2242  * kmsg_dump_register - register a kernel log dumper.
2243  * @dumper: pointer to the kmsg_dumper structure
2244  *
2245  * Adds a kernel log dumper to the system. The dump callback in the
2246  * structure will be called when the kernel oopses or panics and must be
2247  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2248  */
2249 int kmsg_dump_register(struct kmsg_dumper *dumper)
2250 {
2251         unsigned long flags;
2252         int err = -EBUSY;
2253
2254         /* The dump callback needs to be set */
2255         if (!dumper->dump)
2256                 return -EINVAL;
2257
2258         spin_lock_irqsave(&dump_list_lock, flags);
2259         /* Don't allow registering multiple times */
2260         if (!dumper->registered) {
2261                 dumper->registered = 1;
2262                 list_add_tail_rcu(&dumper->list, &dump_list);
2263                 err = 0;
2264         }
2265         spin_unlock_irqrestore(&dump_list_lock, flags);
2266
2267         return err;
2268 }
2269 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2270
2271 /**
2272  * kmsg_dump_unregister - unregister a kmsg dumper.
2273  * @dumper: pointer to the kmsg_dumper structure
2274  *
2275  * Removes a dump device from the system. Returns zero on success and
2276  * %-EINVAL otherwise.
2277  */
2278 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2279 {
2280         unsigned long flags;
2281         int err = -EINVAL;
2282
2283         spin_lock_irqsave(&dump_list_lock, flags);
2284         if (dumper->registered) {
2285                 dumper->registered = 0;
2286                 list_del_rcu(&dumper->list);
2287                 err = 0;
2288         }
2289         spin_unlock_irqrestore(&dump_list_lock, flags);
2290         synchronize_rcu();
2291
2292         return err;
2293 }
2294 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2295
2296 static bool always_kmsg_dump;
2297 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2298
2299 /**
2300  * kmsg_dump - dump kernel log to kernel message dumpers.
2301  * @reason: the reason (oops, panic etc) for dumping
2302  *
2303  * Iterate through each of the dump devices and call the oops/panic
2304  * callbacks with the log buffer.
2305  */
2306 void kmsg_dump(enum kmsg_dump_reason reason)
2307 {
2308         u64 idx;
2309         struct kmsg_dumper *dumper;
2310         const char *s1, *s2;
2311         unsigned long l1, l2;
2312         unsigned long flags;
2313
2314         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2315                 return;
2316
2317         /* Theoretically, the log could move on after we do this, but
2318            there's not a lot we can do about that. The new messages
2319            will overwrite the start of what we dump. */
2320
2321         raw_spin_lock_irqsave(&logbuf_lock, flags);
2322         if (syslog_seq < log_first_seq)
2323                 idx = syslog_idx;
2324         else
2325                 idx = log_first_idx;
2326
2327         if (idx > log_next_idx) {
2328                 s1 = log_buf;
2329                 l1 = log_next_idx;
2330
2331                 s2 = log_buf + idx;
2332                 l2 = log_buf_len - idx;
2333         } else {
2334                 s1 = "";
2335                 l1 = 0;
2336
2337                 s2 = log_buf + idx;
2338                 l2 = log_next_idx - idx;
2339         }
2340         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2341
2342         rcu_read_lock();
2343         list_for_each_entry_rcu(dumper, &dump_list, list)
2344                 dumper->dump(dumper, reason, s1, l1, s2, l2);
2345         rcu_read_unlock();
2346 }
2347 #endif