Merge git://git.kernel.org/pub/scm/linux/kernel/git/davem/net
[platform/adaptation/renesas_rcar/renesas_kernel.git] / kernel / printk.c
1 /*
2  *  linux/kernel/printk.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  * Modified to make sys_syslog() more flexible: added commands to
7  * return the last 4k of kernel messages, regardless of whether
8  * they've been read or not.  Added option to suppress kernel printk's
9  * to the console.  Added hook for sending the console messages
10  * elsewhere, in preparation for a serial line console (someday).
11  * Ted Ts'o, 2/11/93.
12  * Modified for sysctl support, 1/8/97, Chris Horn.
13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
14  *     manfred@colorfullife.com
15  * Rewrote bits to get rid of console_lock
16  *      01Mar01 Andrew Morton
17  */
18
19 #include <linux/kernel.h>
20 #include <linux/mm.h>
21 #include <linux/tty.h>
22 #include <linux/tty_driver.h>
23 #include <linux/console.h>
24 #include <linux/init.h>
25 #include <linux/jiffies.h>
26 #include <linux/nmi.h>
27 #include <linux/module.h>
28 #include <linux/moduleparam.h>
29 #include <linux/interrupt.h>                    /* For in_interrupt() */
30 #include <linux/delay.h>
31 #include <linux/smp.h>
32 #include <linux/security.h>
33 #include <linux/bootmem.h>
34 #include <linux/memblock.h>
35 #include <linux/syscalls.h>
36 #include <linux/kexec.h>
37 #include <linux/kdb.h>
38 #include <linux/ratelimit.h>
39 #include <linux/kmsg_dump.h>
40 #include <linux/syslog.h>
41 #include <linux/cpu.h>
42 #include <linux/notifier.h>
43 #include <linux/rculist.h>
44 #include <linux/poll.h>
45
46 #include <asm/uaccess.h>
47
48 #define CREATE_TRACE_POINTS
49 #include <trace/events/printk.h>
50
51 /*
52  * Architectures can override it:
53  */
54 void asmlinkage __attribute__((weak)) early_printk(const char *fmt, ...)
55 {
56 }
57
58 /* printk's without a loglevel use this.. */
59 #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
60
61 /* We show everything that is MORE important than this.. */
62 #define MINIMUM_CONSOLE_LOGLEVEL 1 /* Minimum loglevel we let people use */
63 #define DEFAULT_CONSOLE_LOGLEVEL 7 /* anything MORE serious than KERN_DEBUG */
64
65 DECLARE_WAIT_QUEUE_HEAD(log_wait);
66
67 int console_printk[4] = {
68         DEFAULT_CONSOLE_LOGLEVEL,       /* console_loglevel */
69         DEFAULT_MESSAGE_LOGLEVEL,       /* default_message_loglevel */
70         MINIMUM_CONSOLE_LOGLEVEL,       /* minimum_console_loglevel */
71         DEFAULT_CONSOLE_LOGLEVEL,       /* default_console_loglevel */
72 };
73
74 /*
75  * Low level drivers may need that to know if they can schedule in
76  * their unblank() callback or not. So let's export it.
77  */
78 int oops_in_progress;
79 EXPORT_SYMBOL(oops_in_progress);
80
81 /*
82  * console_sem protects the console_drivers list, and also
83  * provides serialisation for access to the entire console
84  * driver system.
85  */
86 static DEFINE_SEMAPHORE(console_sem);
87 struct console *console_drivers;
88 EXPORT_SYMBOL_GPL(console_drivers);
89
90 /*
91  * This is used for debugging the mess that is the VT code by
92  * keeping track if we have the console semaphore held. It's
93  * definitely not the perfect debug tool (we don't know if _WE_
94  * hold it are racing, but it helps tracking those weird code
95  * path in the console code where we end up in places I want
96  * locked without the console sempahore held
97  */
98 static int console_locked, console_suspended;
99
100 /*
101  * If exclusive_console is non-NULL then only this console is to be printed to.
102  */
103 static struct console *exclusive_console;
104
105 /*
106  *      Array of consoles built from command line options (console=)
107  */
108 struct console_cmdline
109 {
110         char    name[8];                        /* Name of the driver       */
111         int     index;                          /* Minor dev. to use        */
112         char    *options;                       /* Options for the driver   */
113 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
114         char    *brl_options;                   /* Options for braille driver */
115 #endif
116 };
117
118 #define MAX_CMDLINECONSOLES 8
119
120 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
121 static int selected_console = -1;
122 static int preferred_console = -1;
123 int console_set_on_cmdline;
124 EXPORT_SYMBOL(console_set_on_cmdline);
125
126 /* Flag: console code may call schedule() */
127 static int console_may_schedule;
128
129 /*
130  * The printk log buffer consists of a chain of concatenated variable
131  * length records. Every record starts with a record header, containing
132  * the overall length of the record.
133  *
134  * The heads to the first and last entry in the buffer, as well as the
135  * sequence numbers of these both entries are maintained when messages
136  * are stored..
137  *
138  * If the heads indicate available messages, the length in the header
139  * tells the start next message. A length == 0 for the next message
140  * indicates a wrap-around to the beginning of the buffer.
141  *
142  * Every record carries the monotonic timestamp in microseconds, as well as
143  * the standard userspace syslog level and syslog facility. The usual
144  * kernel messages use LOG_KERN; userspace-injected messages always carry
145  * a matching syslog facility, by default LOG_USER. The origin of every
146  * message can be reliably determined that way.
147  *
148  * The human readable log message directly follows the message header. The
149  * length of the message text is stored in the header, the stored message
150  * is not terminated.
151  *
152  * Optionally, a message can carry a dictionary of properties (key/value pairs),
153  * to provide userspace with a machine-readable message context.
154  *
155  * Examples for well-defined, commonly used property names are:
156  *   DEVICE=b12:8               device identifier
157  *                                b12:8         block dev_t
158  *                                c127:3        char dev_t
159  *                                n8            netdev ifindex
160  *                                +sound:card0  subsystem:devname
161  *   SUBSYSTEM=pci              driver-core subsystem name
162  *
163  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
164  * follows directly after a '=' character. Every property is terminated by
165  * a '\0' character. The last property is not terminated.
166  *
167  * Example of a message structure:
168  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
169  *   0008  34 00                        record is 52 bytes long
170  *   000a        0b 00                  text is 11 bytes long
171  *   000c              1f 00            dictionary is 23 bytes long
172  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
173  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
174  *         69 6e 65                     "ine"
175  *   001b           44 45 56 49 43      "DEVIC"
176  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
177  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
178  *         67                           "g"
179  *   0032     00 00 00                  padding to next message header
180  *
181  * The 'struct log' buffer header must never be directly exported to
182  * userspace, it is a kernel-private implementation detail that might
183  * need to be changed in the future, when the requirements change.
184  *
185  * /dev/kmsg exports the structured data in the following line format:
186  *   "level,sequnum,timestamp;<message text>\n"
187  *
188  * The optional key/value pairs are attached as continuation lines starting
189  * with a space character and terminated by a newline. All possible
190  * non-prinatable characters are escaped in the "\xff" notation.
191  *
192  * Users of the export format should ignore possible additional values
193  * separated by ',', and find the message after the ';' character.
194  */
195
196 struct log {
197         u64 ts_nsec;            /* timestamp in nanoseconds */
198         u16 len;                /* length of entire record */
199         u16 text_len;           /* length of text buffer */
200         u16 dict_len;           /* length of dictionary buffer */
201         u16 level;              /* syslog level + facility */
202 };
203
204 /*
205  * The logbuf_lock protects kmsg buffer, indices, counters. It is also
206  * used in interesting ways to provide interlocking in console_unlock();
207  */
208 static DEFINE_RAW_SPINLOCK(logbuf_lock);
209
210 /* the next printk record to read by syslog(READ) or /proc/kmsg */
211 static u64 syslog_seq;
212 static u32 syslog_idx;
213
214 /* index and sequence number of the first record stored in the buffer */
215 static u64 log_first_seq;
216 static u32 log_first_idx;
217
218 /* index and sequence number of the next record to store in the buffer */
219 static u64 log_next_seq;
220 #ifdef CONFIG_PRINTK
221 static u32 log_next_idx;
222
223 /* the next printk record to read after the last 'clear' command */
224 static u64 clear_seq;
225 static u32 clear_idx;
226
227 #define LOG_LINE_MAX 1024
228
229 /* record buffer */
230 #if !defined(CONFIG_64BIT) || defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
231 #define LOG_ALIGN 4
232 #else
233 #define LOG_ALIGN 8
234 #endif
235 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
236 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
237 static char *log_buf = __log_buf;
238 static u32 log_buf_len = __LOG_BUF_LEN;
239
240 /* cpu currently holding logbuf_lock */
241 static volatile unsigned int logbuf_cpu = UINT_MAX;
242
243 /* human readable text of the record */
244 static char *log_text(const struct log *msg)
245 {
246         return (char *)msg + sizeof(struct log);
247 }
248
249 /* optional key/value pair dictionary attached to the record */
250 static char *log_dict(const struct log *msg)
251 {
252         return (char *)msg + sizeof(struct log) + msg->text_len;
253 }
254
255 /* get record by index; idx must point to valid msg */
256 static struct log *log_from_idx(u32 idx)
257 {
258         struct log *msg = (struct log *)(log_buf + idx);
259
260         /*
261          * A length == 0 record is the end of buffer marker. Wrap around and
262          * read the message at the start of the buffer.
263          */
264         if (!msg->len)
265                 return (struct log *)log_buf;
266         return msg;
267 }
268
269 /* get next record; idx must point to valid msg */
270 static u32 log_next(u32 idx)
271 {
272         struct log *msg = (struct log *)(log_buf + idx);
273
274         /* length == 0 indicates the end of the buffer; wrap */
275         /*
276          * A length == 0 record is the end of buffer marker. Wrap around and
277          * read the message at the start of the buffer as *this* one, and
278          * return the one after that.
279          */
280         if (!msg->len) {
281                 msg = (struct log *)log_buf;
282                 return msg->len;
283         }
284         return idx + msg->len;
285 }
286
287 /* insert record into the buffer, discard old ones, update heads */
288 static void log_store(int facility, int level,
289                       const char *dict, u16 dict_len,
290                       const char *text, u16 text_len)
291 {
292         struct log *msg;
293         u32 size, pad_len;
294
295         /* number of '\0' padding bytes to next message */
296         size = sizeof(struct log) + text_len + dict_len;
297         pad_len = (-size) & (LOG_ALIGN - 1);
298         size += pad_len;
299
300         while (log_first_seq < log_next_seq) {
301                 u32 free;
302
303                 if (log_next_idx > log_first_idx)
304                         free = max(log_buf_len - log_next_idx, log_first_idx);
305                 else
306                         free = log_first_idx - log_next_idx;
307
308                 if (free > size + sizeof(struct log))
309                         break;
310
311                 /* drop old messages until we have enough contiuous space */
312                 log_first_idx = log_next(log_first_idx);
313                 log_first_seq++;
314         }
315
316         if (log_next_idx + size + sizeof(struct log) >= log_buf_len) {
317                 /*
318                  * This message + an additional empty header does not fit
319                  * at the end of the buffer. Add an empty header with len == 0
320                  * to signify a wrap around.
321                  */
322                 memset(log_buf + log_next_idx, 0, sizeof(struct log));
323                 log_next_idx = 0;
324         }
325
326         /* fill message */
327         msg = (struct log *)(log_buf + log_next_idx);
328         memcpy(log_text(msg), text, text_len);
329         msg->text_len = text_len;
330         memcpy(log_dict(msg), dict, dict_len);
331         msg->dict_len = dict_len;
332         msg->level = (facility << 3) | (level & 7);
333         msg->ts_nsec = local_clock();
334         memset(log_dict(msg) + dict_len, 0, pad_len);
335         msg->len = sizeof(struct log) + text_len + dict_len + pad_len;
336
337         /* insert message */
338         log_next_idx += msg->len;
339         log_next_seq++;
340 }
341
342 /* /dev/kmsg - userspace message inject/listen interface */
343 struct devkmsg_user {
344         u64 seq;
345         u32 idx;
346         struct mutex lock;
347         char buf[8192];
348 };
349
350 static ssize_t devkmsg_writev(struct kiocb *iocb, const struct iovec *iv,
351                               unsigned long count, loff_t pos)
352 {
353         char *buf, *line;
354         int i;
355         int level = default_message_loglevel;
356         int facility = 1;       /* LOG_USER */
357         size_t len = iov_length(iv, count);
358         ssize_t ret = len;
359
360         if (len > LOG_LINE_MAX)
361                 return -EINVAL;
362         buf = kmalloc(len+1, GFP_KERNEL);
363         if (buf == NULL)
364                 return -ENOMEM;
365
366         line = buf;
367         for (i = 0; i < count; i++) {
368                 if (copy_from_user(line, iv[i].iov_base, iv[i].iov_len))
369                         goto out;
370                 line += iv[i].iov_len;
371         }
372
373         /*
374          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
375          * the decimal value represents 32bit, the lower 3 bit are the log
376          * level, the rest are the log facility.
377          *
378          * If no prefix or no userspace facility is specified, we
379          * enforce LOG_USER, to be able to reliably distinguish
380          * kernel-generated messages from userspace-injected ones.
381          */
382         line = buf;
383         if (line[0] == '<') {
384                 char *endp = NULL;
385
386                 i = simple_strtoul(line+1, &endp, 10);
387                 if (endp && endp[0] == '>') {
388                         level = i & 7;
389                         if (i >> 3)
390                                 facility = i >> 3;
391                         endp++;
392                         len -= endp - line;
393                         line = endp;
394                 }
395         }
396         line[len] = '\0';
397
398         printk_emit(facility, level, NULL, 0, "%s", line);
399 out:
400         kfree(buf);
401         return ret;
402 }
403
404 static ssize_t devkmsg_read(struct file *file, char __user *buf,
405                             size_t count, loff_t *ppos)
406 {
407         struct devkmsg_user *user = file->private_data;
408         struct log *msg;
409         u64 ts_usec;
410         size_t i;
411         size_t len;
412         ssize_t ret;
413
414         if (!user)
415                 return -EBADF;
416
417         mutex_lock(&user->lock);
418         raw_spin_lock(&logbuf_lock);
419         while (user->seq == log_next_seq) {
420                 if (file->f_flags & O_NONBLOCK) {
421                         ret = -EAGAIN;
422                         raw_spin_unlock(&logbuf_lock);
423                         goto out;
424                 }
425
426                 raw_spin_unlock(&logbuf_lock);
427                 ret = wait_event_interruptible(log_wait,
428                                                user->seq != log_next_seq);
429                 if (ret)
430                         goto out;
431                 raw_spin_lock(&logbuf_lock);
432         }
433
434         if (user->seq < log_first_seq) {
435                 /* our last seen message is gone, return error and reset */
436                 user->idx = log_first_idx;
437                 user->seq = log_first_seq;
438                 ret = -EPIPE;
439                 raw_spin_unlock(&logbuf_lock);
440                 goto out;
441         }
442
443         msg = log_from_idx(user->idx);
444         ts_usec = msg->ts_nsec;
445         do_div(ts_usec, 1000);
446         len = sprintf(user->buf, "%u,%llu,%llu;",
447                       msg->level, user->seq, ts_usec);
448
449         /* escape non-printable characters */
450         for (i = 0; i < msg->text_len; i++) {
451                 unsigned char c = log_text(msg)[i];
452
453                 if (c < ' ' || c >= 128)
454                         len += sprintf(user->buf + len, "\\x%02x", c);
455                 else
456                         user->buf[len++] = c;
457         }
458         user->buf[len++] = '\n';
459
460         if (msg->dict_len) {
461                 bool line = true;
462
463                 for (i = 0; i < msg->dict_len; i++) {
464                         unsigned char c = log_dict(msg)[i];
465
466                         if (line) {
467                                 user->buf[len++] = ' ';
468                                 line = false;
469                         }
470
471                         if (c == '\0') {
472                                 user->buf[len++] = '\n';
473                                 line = true;
474                                 continue;
475                         }
476
477                         if (c < ' ' || c >= 128) {
478                                 len += sprintf(user->buf + len, "\\x%02x", c);
479                                 continue;
480                         }
481
482                         user->buf[len++] = c;
483                 }
484                 user->buf[len++] = '\n';
485         }
486
487         user->idx = log_next(user->idx);
488         user->seq++;
489         raw_spin_unlock(&logbuf_lock);
490
491         if (len > count) {
492                 ret = -EINVAL;
493                 goto out;
494         }
495
496         if (copy_to_user(buf, user->buf, len)) {
497                 ret = -EFAULT;
498                 goto out;
499         }
500         ret = len;
501 out:
502         mutex_unlock(&user->lock);
503         return ret;
504 }
505
506 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
507 {
508         struct devkmsg_user *user = file->private_data;
509         loff_t ret = 0;
510
511         if (!user)
512                 return -EBADF;
513         if (offset)
514                 return -ESPIPE;
515
516         raw_spin_lock(&logbuf_lock);
517         switch (whence) {
518         case SEEK_SET:
519                 /* the first record */
520                 user->idx = log_first_idx;
521                 user->seq = log_first_seq;
522                 break;
523         case SEEK_DATA:
524                 /*
525                  * The first record after the last SYSLOG_ACTION_CLEAR,
526                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
527                  * changes no global state, and does not clear anything.
528                  */
529                 user->idx = clear_idx;
530                 user->seq = clear_seq;
531                 break;
532         case SEEK_END:
533                 /* after the last record */
534                 user->idx = log_next_idx;
535                 user->seq = log_next_seq;
536                 break;
537         default:
538                 ret = -EINVAL;
539         }
540         raw_spin_unlock(&logbuf_lock);
541         return ret;
542 }
543
544 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
545 {
546         struct devkmsg_user *user = file->private_data;
547         int ret = 0;
548
549         if (!user)
550                 return POLLERR|POLLNVAL;
551
552         poll_wait(file, &log_wait, wait);
553
554         raw_spin_lock(&logbuf_lock);
555         if (user->seq < log_next_seq) {
556                 /* return error when data has vanished underneath us */
557                 if (user->seq < log_first_seq)
558                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
559                 ret = POLLIN|POLLRDNORM;
560         }
561         raw_spin_unlock(&logbuf_lock);
562
563         return ret;
564 }
565
566 static int devkmsg_open(struct inode *inode, struct file *file)
567 {
568         struct devkmsg_user *user;
569         int err;
570
571         /* write-only does not need any file context */
572         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
573                 return 0;
574
575         err = security_syslog(SYSLOG_ACTION_READ_ALL);
576         if (err)
577                 return err;
578
579         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
580         if (!user)
581                 return -ENOMEM;
582
583         mutex_init(&user->lock);
584
585         raw_spin_lock(&logbuf_lock);
586         user->idx = log_first_idx;
587         user->seq = log_first_seq;
588         raw_spin_unlock(&logbuf_lock);
589
590         file->private_data = user;
591         return 0;
592 }
593
594 static int devkmsg_release(struct inode *inode, struct file *file)
595 {
596         struct devkmsg_user *user = file->private_data;
597
598         if (!user)
599                 return 0;
600
601         mutex_destroy(&user->lock);
602         kfree(user);
603         return 0;
604 }
605
606 const struct file_operations kmsg_fops = {
607         .open = devkmsg_open,
608         .read = devkmsg_read,
609         .aio_write = devkmsg_writev,
610         .llseek = devkmsg_llseek,
611         .poll = devkmsg_poll,
612         .release = devkmsg_release,
613 };
614
615 #ifdef CONFIG_KEXEC
616 /*
617  * This appends the listed symbols to /proc/vmcoreinfo
618  *
619  * /proc/vmcoreinfo is used by various utiilties, like crash and makedumpfile to
620  * obtain access to symbols that are otherwise very difficult to locate.  These
621  * symbols are specifically used so that utilities can access and extract the
622  * dmesg log from a vmcore file after a crash.
623  */
624 void log_buf_kexec_setup(void)
625 {
626         VMCOREINFO_SYMBOL(log_buf);
627         VMCOREINFO_SYMBOL(log_buf_len);
628         VMCOREINFO_SYMBOL(log_first_idx);
629         VMCOREINFO_SYMBOL(log_next_idx);
630 }
631 #endif
632
633 /* requested log_buf_len from kernel cmdline */
634 static unsigned long __initdata new_log_buf_len;
635
636 /* save requested log_buf_len since it's too early to process it */
637 static int __init log_buf_len_setup(char *str)
638 {
639         unsigned size = memparse(str, &str);
640
641         if (size)
642                 size = roundup_pow_of_two(size);
643         if (size > log_buf_len)
644                 new_log_buf_len = size;
645
646         return 0;
647 }
648 early_param("log_buf_len", log_buf_len_setup);
649
650 void __init setup_log_buf(int early)
651 {
652         unsigned long flags;
653         char *new_log_buf;
654         int free;
655
656         if (!new_log_buf_len)
657                 return;
658
659         if (early) {
660                 unsigned long mem;
661
662                 mem = memblock_alloc(new_log_buf_len, PAGE_SIZE);
663                 if (!mem)
664                         return;
665                 new_log_buf = __va(mem);
666         } else {
667                 new_log_buf = alloc_bootmem_nopanic(new_log_buf_len);
668         }
669
670         if (unlikely(!new_log_buf)) {
671                 pr_err("log_buf_len: %ld bytes not available\n",
672                         new_log_buf_len);
673                 return;
674         }
675
676         raw_spin_lock_irqsave(&logbuf_lock, flags);
677         log_buf_len = new_log_buf_len;
678         log_buf = new_log_buf;
679         new_log_buf_len = 0;
680         free = __LOG_BUF_LEN - log_next_idx;
681         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
682         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
683
684         pr_info("log_buf_len: %d\n", log_buf_len);
685         pr_info("early log buf free: %d(%d%%)\n",
686                 free, (free * 100) / __LOG_BUF_LEN);
687 }
688
689 #ifdef CONFIG_BOOT_PRINTK_DELAY
690
691 static int boot_delay; /* msecs delay after each printk during bootup */
692 static unsigned long long loops_per_msec;       /* based on boot_delay */
693
694 static int __init boot_delay_setup(char *str)
695 {
696         unsigned long lpj;
697
698         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
699         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
700
701         get_option(&str, &boot_delay);
702         if (boot_delay > 10 * 1000)
703                 boot_delay = 0;
704
705         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
706                 "HZ: %d, loops_per_msec: %llu\n",
707                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
708         return 1;
709 }
710 __setup("boot_delay=", boot_delay_setup);
711
712 static void boot_delay_msec(void)
713 {
714         unsigned long long k;
715         unsigned long timeout;
716
717         if (boot_delay == 0 || system_state != SYSTEM_BOOTING)
718                 return;
719
720         k = (unsigned long long)loops_per_msec * boot_delay;
721
722         timeout = jiffies + msecs_to_jiffies(boot_delay);
723         while (k) {
724                 k--;
725                 cpu_relax();
726                 /*
727                  * use (volatile) jiffies to prevent
728                  * compiler reduction; loop termination via jiffies
729                  * is secondary and may or may not happen.
730                  */
731                 if (time_after(jiffies, timeout))
732                         break;
733                 touch_nmi_watchdog();
734         }
735 }
736 #else
737 static inline void boot_delay_msec(void)
738 {
739 }
740 #endif
741
742 #ifdef CONFIG_SECURITY_DMESG_RESTRICT
743 int dmesg_restrict = 1;
744 #else
745 int dmesg_restrict;
746 #endif
747
748 static int syslog_action_restricted(int type)
749 {
750         if (dmesg_restrict)
751                 return 1;
752         /* Unless restricted, we allow "read all" and "get buffer size" for everybody */
753         return type != SYSLOG_ACTION_READ_ALL && type != SYSLOG_ACTION_SIZE_BUFFER;
754 }
755
756 static int check_syslog_permissions(int type, bool from_file)
757 {
758         /*
759          * If this is from /proc/kmsg and we've already opened it, then we've
760          * already done the capabilities checks at open time.
761          */
762         if (from_file && type != SYSLOG_ACTION_OPEN)
763                 return 0;
764
765         if (syslog_action_restricted(type)) {
766                 if (capable(CAP_SYSLOG))
767                         return 0;
768                 /* For historical reasons, accept CAP_SYS_ADMIN too, with a warning */
769                 if (capable(CAP_SYS_ADMIN)) {
770                         printk_once(KERN_WARNING "%s (%d): "
771                                  "Attempt to access syslog with CAP_SYS_ADMIN "
772                                  "but no CAP_SYSLOG (deprecated).\n",
773                                  current->comm, task_pid_nr(current));
774                         return 0;
775                 }
776                 return -EPERM;
777         }
778         return 0;
779 }
780
781 #if defined(CONFIG_PRINTK_TIME)
782 static bool printk_time = 1;
783 #else
784 static bool printk_time;
785 #endif
786 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
787
788 static size_t print_prefix(const struct log *msg, bool syslog, char *buf)
789 {
790         size_t len = 0;
791
792         if (syslog) {
793                 if (buf) {
794                         len += sprintf(buf, "<%u>", msg->level);
795                 } else {
796                         len += 3;
797                         if (msg->level > 9)
798                                 len++;
799                         if (msg->level > 99)
800                                 len++;
801                 }
802         }
803
804         if (printk_time) {
805                 if (buf) {
806                         unsigned long long ts = msg->ts_nsec;
807                         unsigned long rem_nsec = do_div(ts, 1000000000);
808
809                         len += sprintf(buf + len, "[%5lu.%06lu] ",
810                                          (unsigned long) ts, rem_nsec / 1000);
811                 } else {
812                         len += 15;
813                 }
814         }
815
816         return len;
817 }
818
819 static size_t msg_print_text(const struct log *msg, bool syslog,
820                              char *buf, size_t size)
821 {
822         const char *text = log_text(msg);
823         size_t text_size = msg->text_len;
824         size_t len = 0;
825
826         do {
827                 const char *next = memchr(text, '\n', text_size);
828                 size_t text_len;
829
830                 if (next) {
831                         text_len = next - text;
832                         next++;
833                         text_size -= next - text;
834                 } else {
835                         text_len = text_size;
836                 }
837
838                 if (buf) {
839                         if (print_prefix(msg, syslog, NULL) +
840                             text_len + 1>= size - len)
841                                 break;
842
843                         len += print_prefix(msg, syslog, buf + len);
844                         memcpy(buf + len, text, text_len);
845                         len += text_len;
846                         buf[len++] = '\n';
847                 } else {
848                         /* SYSLOG_ACTION_* buffer size only calculation */
849                         len += print_prefix(msg, syslog, NULL);
850                         len += text_len + 1;
851                 }
852
853                 text = next;
854         } while (text);
855
856         return len;
857 }
858
859 static int syslog_print(char __user *buf, int size)
860 {
861         char *text;
862         struct log *msg;
863         int len;
864
865         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
866         if (!text)
867                 return -ENOMEM;
868
869         raw_spin_lock_irq(&logbuf_lock);
870         if (syslog_seq < log_first_seq) {
871                 /* messages are gone, move to first one */
872                 syslog_seq = log_first_seq;
873                 syslog_idx = log_first_idx;
874         }
875         msg = log_from_idx(syslog_idx);
876         len = msg_print_text(msg, true, text, LOG_LINE_MAX);
877         syslog_idx = log_next(syslog_idx);
878         syslog_seq++;
879         raw_spin_unlock_irq(&logbuf_lock);
880
881         if (len > 0 && copy_to_user(buf, text, len))
882                 len = -EFAULT;
883
884         kfree(text);
885         return len;
886 }
887
888 static int syslog_print_all(char __user *buf, int size, bool clear)
889 {
890         char *text;
891         int len = 0;
892
893         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
894         if (!text)
895                 return -ENOMEM;
896
897         raw_spin_lock_irq(&logbuf_lock);
898         if (buf) {
899                 u64 next_seq;
900                 u64 seq;
901                 u32 idx;
902
903                 if (clear_seq < log_first_seq) {
904                         /* messages are gone, move to first available one */
905                         clear_seq = log_first_seq;
906                         clear_idx = log_first_idx;
907                 }
908
909                 /*
910                  * Find first record that fits, including all following records,
911                  * into the user-provided buffer for this dump.
912                 */
913                 seq = clear_seq;
914                 idx = clear_idx;
915                 while (seq < log_next_seq) {
916                         struct log *msg = log_from_idx(idx);
917
918                         len += msg_print_text(msg, true, NULL, 0);
919                         idx = log_next(idx);
920                         seq++;
921                 }
922                 seq = clear_seq;
923                 idx = clear_idx;
924                 while (len > size && seq < log_next_seq) {
925                         struct log *msg = log_from_idx(idx);
926
927                         len -= msg_print_text(msg, true, NULL, 0);
928                         idx = log_next(idx);
929                         seq++;
930                 }
931
932                 /* last message in this dump */
933                 next_seq = log_next_seq;
934
935                 len = 0;
936                 while (len >= 0 && seq < next_seq) {
937                         struct log *msg = log_from_idx(idx);
938                         int textlen;
939
940                         textlen = msg_print_text(msg, true, text, LOG_LINE_MAX);
941                         if (textlen < 0) {
942                                 len = textlen;
943                                 break;
944                         }
945                         idx = log_next(idx);
946                         seq++;
947
948                         raw_spin_unlock_irq(&logbuf_lock);
949                         if (copy_to_user(buf + len, text, textlen))
950                                 len = -EFAULT;
951                         else
952                                 len += textlen;
953                         raw_spin_lock_irq(&logbuf_lock);
954
955                         if (seq < log_first_seq) {
956                                 /* messages are gone, move to next one */
957                                 seq = log_first_seq;
958                                 idx = log_first_idx;
959                         }
960                 }
961         }
962
963         if (clear) {
964                 clear_seq = log_next_seq;
965                 clear_idx = log_next_idx;
966         }
967         raw_spin_unlock_irq(&logbuf_lock);
968
969         kfree(text);
970         return len;
971 }
972
973 int do_syslog(int type, char __user *buf, int len, bool from_file)
974 {
975         bool clear = false;
976         static int saved_console_loglevel = -1;
977         int error;
978
979         error = check_syslog_permissions(type, from_file);
980         if (error)
981                 goto out;
982
983         error = security_syslog(type);
984         if (error)
985                 return error;
986
987         switch (type) {
988         case SYSLOG_ACTION_CLOSE:       /* Close log */
989                 break;
990         case SYSLOG_ACTION_OPEN:        /* Open log */
991                 break;
992         case SYSLOG_ACTION_READ:        /* Read from log */
993                 error = -EINVAL;
994                 if (!buf || len < 0)
995                         goto out;
996                 error = 0;
997                 if (!len)
998                         goto out;
999                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1000                         error = -EFAULT;
1001                         goto out;
1002                 }
1003                 error = wait_event_interruptible(log_wait,
1004                                                  syslog_seq != log_next_seq);
1005                 if (error)
1006                         goto out;
1007                 error = syslog_print(buf, len);
1008                 break;
1009         /* Read/clear last kernel messages */
1010         case SYSLOG_ACTION_READ_CLEAR:
1011                 clear = true;
1012                 /* FALL THRU */
1013         /* Read last kernel messages */
1014         case SYSLOG_ACTION_READ_ALL:
1015                 error = -EINVAL;
1016                 if (!buf || len < 0)
1017                         goto out;
1018                 error = 0;
1019                 if (!len)
1020                         goto out;
1021                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1022                         error = -EFAULT;
1023                         goto out;
1024                 }
1025                 error = syslog_print_all(buf, len, clear);
1026                 break;
1027         /* Clear ring buffer */
1028         case SYSLOG_ACTION_CLEAR:
1029                 syslog_print_all(NULL, 0, true);
1030         /* Disable logging to console */
1031         case SYSLOG_ACTION_CONSOLE_OFF:
1032                 if (saved_console_loglevel == -1)
1033                         saved_console_loglevel = console_loglevel;
1034                 console_loglevel = minimum_console_loglevel;
1035                 break;
1036         /* Enable logging to console */
1037         case SYSLOG_ACTION_CONSOLE_ON:
1038                 if (saved_console_loglevel != -1) {
1039                         console_loglevel = saved_console_loglevel;
1040                         saved_console_loglevel = -1;
1041                 }
1042                 break;
1043         /* Set level of messages printed to console */
1044         case SYSLOG_ACTION_CONSOLE_LEVEL:
1045                 error = -EINVAL;
1046                 if (len < 1 || len > 8)
1047                         goto out;
1048                 if (len < minimum_console_loglevel)
1049                         len = minimum_console_loglevel;
1050                 console_loglevel = len;
1051                 /* Implicitly re-enable logging to console */
1052                 saved_console_loglevel = -1;
1053                 error = 0;
1054                 break;
1055         /* Number of chars in the log buffer */
1056         case SYSLOG_ACTION_SIZE_UNREAD:
1057                 raw_spin_lock_irq(&logbuf_lock);
1058                 if (syslog_seq < log_first_seq) {
1059                         /* messages are gone, move to first one */
1060                         syslog_seq = log_first_seq;
1061                         syslog_idx = log_first_idx;
1062                 }
1063                 if (from_file) {
1064                         /*
1065                          * Short-cut for poll(/"proc/kmsg") which simply checks
1066                          * for pending data, not the size; return the count of
1067                          * records, not the length.
1068                          */
1069                         error = log_next_idx - syslog_idx;
1070                 } else {
1071                         u64 seq;
1072                         u32 idx;
1073
1074                         error = 0;
1075                         seq = syslog_seq;
1076                         idx = syslog_idx;
1077                         while (seq < log_next_seq) {
1078                                 struct log *msg = log_from_idx(idx);
1079
1080                                 error += msg_print_text(msg, true, NULL, 0);
1081                                 idx = log_next(idx);
1082                                 seq++;
1083                         }
1084                 }
1085                 raw_spin_unlock_irq(&logbuf_lock);
1086                 break;
1087         /* Size of the log buffer */
1088         case SYSLOG_ACTION_SIZE_BUFFER:
1089                 error = log_buf_len;
1090                 break;
1091         default:
1092                 error = -EINVAL;
1093                 break;
1094         }
1095 out:
1096         return error;
1097 }
1098
1099 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1100 {
1101         return do_syslog(type, buf, len, SYSLOG_FROM_CALL);
1102 }
1103
1104 #ifdef  CONFIG_KGDB_KDB
1105 /* kdb dmesg command needs access to the syslog buffer.  do_syslog()
1106  * uses locks so it cannot be used during debugging.  Just tell kdb
1107  * where the start and end of the physical and logical logs are.  This
1108  * is equivalent to do_syslog(3).
1109  */
1110 void kdb_syslog_data(char *syslog_data[4])
1111 {
1112         syslog_data[0] = log_buf;
1113         syslog_data[1] = log_buf + log_buf_len;
1114         syslog_data[2] = log_buf + log_first_idx;
1115         syslog_data[3] = log_buf + log_next_idx;
1116 }
1117 #endif  /* CONFIG_KGDB_KDB */
1118
1119 static bool __read_mostly ignore_loglevel;
1120
1121 static int __init ignore_loglevel_setup(char *str)
1122 {
1123         ignore_loglevel = 1;
1124         printk(KERN_INFO "debug: ignoring loglevel setting.\n");
1125
1126         return 0;
1127 }
1128
1129 early_param("ignore_loglevel", ignore_loglevel_setup);
1130 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
1131 MODULE_PARM_DESC(ignore_loglevel, "ignore loglevel setting, to"
1132         "print all kernel messages to the console.");
1133
1134 /*
1135  * Call the console drivers, asking them to write out
1136  * log_buf[start] to log_buf[end - 1].
1137  * The console_lock must be held.
1138  */
1139 static void call_console_drivers(int level, const char *text, size_t len)
1140 {
1141         struct console *con;
1142
1143         trace_console(text, 0, len, len);
1144
1145         if (level >= console_loglevel && !ignore_loglevel)
1146                 return;
1147         if (!console_drivers)
1148                 return;
1149
1150         for_each_console(con) {
1151                 if (exclusive_console && con != exclusive_console)
1152                         continue;
1153                 if (!(con->flags & CON_ENABLED))
1154                         continue;
1155                 if (!con->write)
1156                         continue;
1157                 if (!cpu_online(smp_processor_id()) &&
1158                     !(con->flags & CON_ANYTIME))
1159                         continue;
1160                 con->write(con, text, len);
1161         }
1162 }
1163
1164 /*
1165  * Zap console related locks when oopsing. Only zap at most once
1166  * every 10 seconds, to leave time for slow consoles to print a
1167  * full oops.
1168  */
1169 static void zap_locks(void)
1170 {
1171         static unsigned long oops_timestamp;
1172
1173         if (time_after_eq(jiffies, oops_timestamp) &&
1174                         !time_after(jiffies, oops_timestamp + 30 * HZ))
1175                 return;
1176
1177         oops_timestamp = jiffies;
1178
1179         debug_locks_off();
1180         /* If a crash is occurring, make sure we can't deadlock */
1181         raw_spin_lock_init(&logbuf_lock);
1182         /* And make sure that we print immediately */
1183         sema_init(&console_sem, 1);
1184 }
1185
1186 /* Check if we have any console registered that can be called early in boot. */
1187 static int have_callable_console(void)
1188 {
1189         struct console *con;
1190
1191         for_each_console(con)
1192                 if (con->flags & CON_ANYTIME)
1193                         return 1;
1194
1195         return 0;
1196 }
1197
1198 /*
1199  * Can we actually use the console at this time on this cpu?
1200  *
1201  * Console drivers may assume that per-cpu resources have
1202  * been allocated. So unless they're explicitly marked as
1203  * being able to cope (CON_ANYTIME) don't call them until
1204  * this CPU is officially up.
1205  */
1206 static inline int can_use_console(unsigned int cpu)
1207 {
1208         return cpu_online(cpu) || have_callable_console();
1209 }
1210
1211 /*
1212  * Try to get console ownership to actually show the kernel
1213  * messages from a 'printk'. Return true (and with the
1214  * console_lock held, and 'console_locked' set) if it
1215  * is successful, false otherwise.
1216  *
1217  * This gets called with the 'logbuf_lock' spinlock held and
1218  * interrupts disabled. It should return with 'lockbuf_lock'
1219  * released but interrupts still disabled.
1220  */
1221 static int console_trylock_for_printk(unsigned int cpu)
1222         __releases(&logbuf_lock)
1223 {
1224         int retval = 0, wake = 0;
1225
1226         if (console_trylock()) {
1227                 retval = 1;
1228
1229                 /*
1230                  * If we can't use the console, we need to release
1231                  * the console semaphore by hand to avoid flushing
1232                  * the buffer. We need to hold the console semaphore
1233                  * in order to do this test safely.
1234                  */
1235                 if (!can_use_console(cpu)) {
1236                         console_locked = 0;
1237                         wake = 1;
1238                         retval = 0;
1239                 }
1240         }
1241         logbuf_cpu = UINT_MAX;
1242         if (wake)
1243                 up(&console_sem);
1244         raw_spin_unlock(&logbuf_lock);
1245         return retval;
1246 }
1247
1248 int printk_delay_msec __read_mostly;
1249
1250 static inline void printk_delay(void)
1251 {
1252         if (unlikely(printk_delay_msec)) {
1253                 int m = printk_delay_msec;
1254
1255                 while (m--) {
1256                         mdelay(1);
1257                         touch_nmi_watchdog();
1258                 }
1259         }
1260 }
1261
1262 asmlinkage int vprintk_emit(int facility, int level,
1263                             const char *dict, size_t dictlen,
1264                             const char *fmt, va_list args)
1265 {
1266         static int recursion_bug;
1267         static char cont_buf[LOG_LINE_MAX];
1268         static size_t cont_len;
1269         static int cont_level;
1270         static struct task_struct *cont_task;
1271         static char textbuf[LOG_LINE_MAX];
1272         char *text = textbuf;
1273         size_t text_len;
1274         unsigned long flags;
1275         int this_cpu;
1276         bool newline = false;
1277         bool prefix = false;
1278         int printed_len = 0;
1279
1280         boot_delay_msec();
1281         printk_delay();
1282
1283         /* This stops the holder of console_sem just where we want him */
1284         local_irq_save(flags);
1285         this_cpu = smp_processor_id();
1286
1287         /*
1288          * Ouch, printk recursed into itself!
1289          */
1290         if (unlikely(logbuf_cpu == this_cpu)) {
1291                 /*
1292                  * If a crash is occurring during printk() on this CPU,
1293                  * then try to get the crash message out but make sure
1294                  * we can't deadlock. Otherwise just return to avoid the
1295                  * recursion and return - but flag the recursion so that
1296                  * it can be printed at the next appropriate moment:
1297                  */
1298                 if (!oops_in_progress && !lockdep_recursing(current)) {
1299                         recursion_bug = 1;
1300                         goto out_restore_irqs;
1301                 }
1302                 zap_locks();
1303         }
1304
1305         lockdep_off();
1306         raw_spin_lock(&logbuf_lock);
1307         logbuf_cpu = this_cpu;
1308
1309         if (recursion_bug) {
1310                 static const char recursion_msg[] =
1311                         "BUG: recent printk recursion!";
1312
1313                 recursion_bug = 0;
1314                 printed_len += strlen(recursion_msg);
1315                 /* emit KERN_CRIT message */
1316                 log_store(0, 2, NULL, 0, recursion_msg, printed_len);
1317         }
1318
1319         /*
1320          * The printf needs to come first; we need the syslog
1321          * prefix which might be passed-in as a parameter.
1322          */
1323         text_len = vscnprintf(text, sizeof(textbuf), fmt, args);
1324
1325         /* mark and strip a trailing newline */
1326         if (text_len && text[text_len-1] == '\n') {
1327                 text_len--;
1328                 newline = true;
1329         }
1330
1331         /* strip syslog prefix and extract log level or control flags */
1332         if (text[0] == '<' && text[1] && text[2] == '>') {
1333                 switch (text[1]) {
1334                 case '0' ... '7':
1335                         if (level == -1)
1336                                 level = text[1] - '0';
1337                 case 'd':       /* KERN_DEFAULT */
1338                         prefix = true;
1339                 case 'c':       /* KERN_CONT */
1340                         text += 3;
1341                         text_len -= 3;
1342                 }
1343         }
1344
1345         if (level == -1)
1346                 level = default_message_loglevel;
1347
1348         if (dict) {
1349                 prefix = true;
1350                 newline = true;
1351         }
1352
1353         if (!newline) {
1354                 if (cont_len && (prefix || cont_task != current)) {
1355                         /*
1356                          * Flush earlier buffer, which is either from a
1357                          * different thread, or when we got a new prefix.
1358                          */
1359                         log_store(facility, cont_level, NULL, 0, cont_buf, cont_len);
1360                         cont_len = 0;
1361                 }
1362
1363                 if (!cont_len) {
1364                         cont_level = level;
1365                         cont_task = current;
1366                 }
1367
1368                 /* buffer or append to earlier buffer from the same thread */
1369                 if (cont_len + text_len > sizeof(cont_buf))
1370                         text_len = sizeof(cont_buf) - cont_len;
1371                 memcpy(cont_buf + cont_len, text, text_len);
1372                 cont_len += text_len;
1373         } else {
1374                 if (cont_len && cont_task == current) {
1375                         if (prefix) {
1376                                 /*
1377                                  * New prefix from the same thread; flush. We
1378                                  * either got no earlier newline, or we race
1379                                  * with an interrupt.
1380                                  */
1381                                 log_store(facility, cont_level,
1382                                           NULL, 0, cont_buf, cont_len);
1383                                 cont_len = 0;
1384                         }
1385
1386                         /* append to the earlier buffer and flush */
1387                         if (cont_len + text_len > sizeof(cont_buf))
1388                                 text_len = sizeof(cont_buf) - cont_len;
1389                         memcpy(cont_buf + cont_len, text, text_len);
1390                         cont_len += text_len;
1391                         log_store(facility, cont_level,
1392                                   NULL, 0, cont_buf, cont_len);
1393                         cont_len = 0;
1394                         cont_task = NULL;
1395                         printed_len = cont_len;
1396                 } else {
1397                         /* ordinary single and terminated line */
1398                         log_store(facility, level,
1399                                   dict, dictlen, text, text_len);
1400                         printed_len = text_len;
1401                 }
1402         }
1403
1404         /*
1405          * Try to acquire and then immediately release the console semaphore.
1406          * The release will print out buffers and wake up /dev/kmsg and syslog()
1407          * users.
1408          *
1409          * The console_trylock_for_printk() function will release 'logbuf_lock'
1410          * regardless of whether it actually gets the console semaphore or not.
1411          */
1412         if (console_trylock_for_printk(this_cpu))
1413                 console_unlock();
1414
1415         lockdep_on();
1416 out_restore_irqs:
1417         local_irq_restore(flags);
1418
1419         return printed_len;
1420 }
1421 EXPORT_SYMBOL(vprintk_emit);
1422
1423 asmlinkage int vprintk(const char *fmt, va_list args)
1424 {
1425         return vprintk_emit(0, -1, NULL, 0, fmt, args);
1426 }
1427 EXPORT_SYMBOL(vprintk);
1428
1429 asmlinkage int printk_emit(int facility, int level,
1430                            const char *dict, size_t dictlen,
1431                            const char *fmt, ...)
1432 {
1433         va_list args;
1434         int r;
1435
1436         va_start(args, fmt);
1437         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1438         va_end(args);
1439
1440         return r;
1441 }
1442 EXPORT_SYMBOL(printk_emit);
1443
1444 /**
1445  * printk - print a kernel message
1446  * @fmt: format string
1447  *
1448  * This is printk(). It can be called from any context. We want it to work.
1449  *
1450  * We try to grab the console_lock. If we succeed, it's easy - we log the
1451  * output and call the console drivers.  If we fail to get the semaphore, we
1452  * place the output into the log buffer and return. The current holder of
1453  * the console_sem will notice the new output in console_unlock(); and will
1454  * send it to the consoles before releasing the lock.
1455  *
1456  * One effect of this deferred printing is that code which calls printk() and
1457  * then changes console_loglevel may break. This is because console_loglevel
1458  * is inspected when the actual printing occurs.
1459  *
1460  * See also:
1461  * printf(3)
1462  *
1463  * See the vsnprintf() documentation for format string extensions over C99.
1464  */
1465 asmlinkage int printk(const char *fmt, ...)
1466 {
1467         va_list args;
1468         int r;
1469
1470 #ifdef CONFIG_KGDB_KDB
1471         if (unlikely(kdb_trap_printk)) {
1472                 va_start(args, fmt);
1473                 r = vkdb_printf(fmt, args);
1474                 va_end(args);
1475                 return r;
1476         }
1477 #endif
1478         va_start(args, fmt);
1479         r = vprintk_emit(0, -1, NULL, 0, fmt, args);
1480         va_end(args);
1481
1482         return r;
1483 }
1484 EXPORT_SYMBOL(printk);
1485
1486 #else
1487
1488 #define LOG_LINE_MAX 0
1489 static struct log *log_from_idx(u32 idx) { return NULL; }
1490 static u32 log_next(u32 idx) { return 0; }
1491 static void call_console_drivers(int level, const char *text, size_t len) {}
1492 static size_t msg_print_text(const struct log *msg, bool syslog,
1493                              char *buf, size_t size) { return 0; }
1494
1495 #endif /* CONFIG_PRINTK */
1496
1497 static int __add_preferred_console(char *name, int idx, char *options,
1498                                    char *brl_options)
1499 {
1500         struct console_cmdline *c;
1501         int i;
1502
1503         /*
1504          *      See if this tty is not yet registered, and
1505          *      if we have a slot free.
1506          */
1507         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1508                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1509                           console_cmdline[i].index == idx) {
1510                                 if (!brl_options)
1511                                         selected_console = i;
1512                                 return 0;
1513                 }
1514         if (i == MAX_CMDLINECONSOLES)
1515                 return -E2BIG;
1516         if (!brl_options)
1517                 selected_console = i;
1518         c = &console_cmdline[i];
1519         strlcpy(c->name, name, sizeof(c->name));
1520         c->options = options;
1521 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1522         c->brl_options = brl_options;
1523 #endif
1524         c->index = idx;
1525         return 0;
1526 }
1527 /*
1528  * Set up a list of consoles.  Called from init/main.c
1529  */
1530 static int __init console_setup(char *str)
1531 {
1532         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for index */
1533         char *s, *options, *brl_options = NULL;
1534         int idx;
1535
1536 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1537         if (!memcmp(str, "brl,", 4)) {
1538                 brl_options = "";
1539                 str += 4;
1540         } else if (!memcmp(str, "brl=", 4)) {
1541                 brl_options = str + 4;
1542                 str = strchr(brl_options, ',');
1543                 if (!str) {
1544                         printk(KERN_ERR "need port name after brl=\n");
1545                         return 1;
1546                 }
1547                 *(str++) = 0;
1548         }
1549 #endif
1550
1551         /*
1552          * Decode str into name, index, options.
1553          */
1554         if (str[0] >= '0' && str[0] <= '9') {
1555                 strcpy(buf, "ttyS");
1556                 strncpy(buf + 4, str, sizeof(buf) - 5);
1557         } else {
1558                 strncpy(buf, str, sizeof(buf) - 1);
1559         }
1560         buf[sizeof(buf) - 1] = 0;
1561         if ((options = strchr(str, ',')) != NULL)
1562                 *(options++) = 0;
1563 #ifdef __sparc__
1564         if (!strcmp(str, "ttya"))
1565                 strcpy(buf, "ttyS0");
1566         if (!strcmp(str, "ttyb"))
1567                 strcpy(buf, "ttyS1");
1568 #endif
1569         for (s = buf; *s; s++)
1570                 if ((*s >= '0' && *s <= '9') || *s == ',')
1571                         break;
1572         idx = simple_strtoul(s, NULL, 10);
1573         *s = 0;
1574
1575         __add_preferred_console(buf, idx, options, brl_options);
1576         console_set_on_cmdline = 1;
1577         return 1;
1578 }
1579 __setup("console=", console_setup);
1580
1581 /**
1582  * add_preferred_console - add a device to the list of preferred consoles.
1583  * @name: device name
1584  * @idx: device index
1585  * @options: options for this console
1586  *
1587  * The last preferred console added will be used for kernel messages
1588  * and stdin/out/err for init.  Normally this is used by console_setup
1589  * above to handle user-supplied console arguments; however it can also
1590  * be used by arch-specific code either to override the user or more
1591  * commonly to provide a default console (ie from PROM variables) when
1592  * the user has not supplied one.
1593  */
1594 int add_preferred_console(char *name, int idx, char *options)
1595 {
1596         return __add_preferred_console(name, idx, options, NULL);
1597 }
1598
1599 int update_console_cmdline(char *name, int idx, char *name_new, int idx_new, char *options)
1600 {
1601         struct console_cmdline *c;
1602         int i;
1603
1604         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1605                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1606                           console_cmdline[i].index == idx) {
1607                                 c = &console_cmdline[i];
1608                                 strlcpy(c->name, name_new, sizeof(c->name));
1609                                 c->name[sizeof(c->name) - 1] = 0;
1610                                 c->options = options;
1611                                 c->index = idx_new;
1612                                 return i;
1613                 }
1614         /* not found */
1615         return -1;
1616 }
1617
1618 bool console_suspend_enabled = 1;
1619 EXPORT_SYMBOL(console_suspend_enabled);
1620
1621 static int __init console_suspend_disable(char *str)
1622 {
1623         console_suspend_enabled = 0;
1624         return 1;
1625 }
1626 __setup("no_console_suspend", console_suspend_disable);
1627 module_param_named(console_suspend, console_suspend_enabled,
1628                 bool, S_IRUGO | S_IWUSR);
1629 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
1630         " and hibernate operations");
1631
1632 /**
1633  * suspend_console - suspend the console subsystem
1634  *
1635  * This disables printk() while we go into suspend states
1636  */
1637 void suspend_console(void)
1638 {
1639         if (!console_suspend_enabled)
1640                 return;
1641         printk("Suspending console(s) (use no_console_suspend to debug)\n");
1642         console_lock();
1643         console_suspended = 1;
1644         up(&console_sem);
1645 }
1646
1647 void resume_console(void)
1648 {
1649         if (!console_suspend_enabled)
1650                 return;
1651         down(&console_sem);
1652         console_suspended = 0;
1653         console_unlock();
1654 }
1655
1656 /**
1657  * console_cpu_notify - print deferred console messages after CPU hotplug
1658  * @self: notifier struct
1659  * @action: CPU hotplug event
1660  * @hcpu: unused
1661  *
1662  * If printk() is called from a CPU that is not online yet, the messages
1663  * will be spooled but will not show up on the console.  This function is
1664  * called when a new CPU comes online (or fails to come up), and ensures
1665  * that any such output gets printed.
1666  */
1667 static int __cpuinit console_cpu_notify(struct notifier_block *self,
1668         unsigned long action, void *hcpu)
1669 {
1670         switch (action) {
1671         case CPU_ONLINE:
1672         case CPU_DEAD:
1673         case CPU_DYING:
1674         case CPU_DOWN_FAILED:
1675         case CPU_UP_CANCELED:
1676                 console_lock();
1677                 console_unlock();
1678         }
1679         return NOTIFY_OK;
1680 }
1681
1682 /**
1683  * console_lock - lock the console system for exclusive use.
1684  *
1685  * Acquires a lock which guarantees that the caller has
1686  * exclusive access to the console system and the console_drivers list.
1687  *
1688  * Can sleep, returns nothing.
1689  */
1690 void console_lock(void)
1691 {
1692         BUG_ON(in_interrupt());
1693         down(&console_sem);
1694         if (console_suspended)
1695                 return;
1696         console_locked = 1;
1697         console_may_schedule = 1;
1698 }
1699 EXPORT_SYMBOL(console_lock);
1700
1701 /**
1702  * console_trylock - try to lock the console system for exclusive use.
1703  *
1704  * Tried to acquire a lock which guarantees that the caller has
1705  * exclusive access to the console system and the console_drivers list.
1706  *
1707  * returns 1 on success, and 0 on failure to acquire the lock.
1708  */
1709 int console_trylock(void)
1710 {
1711         if (down_trylock(&console_sem))
1712                 return 0;
1713         if (console_suspended) {
1714                 up(&console_sem);
1715                 return 0;
1716         }
1717         console_locked = 1;
1718         console_may_schedule = 0;
1719         return 1;
1720 }
1721 EXPORT_SYMBOL(console_trylock);
1722
1723 int is_console_locked(void)
1724 {
1725         return console_locked;
1726 }
1727
1728 /*
1729  * Delayed printk version, for scheduler-internal messages:
1730  */
1731 #define PRINTK_BUF_SIZE         512
1732
1733 #define PRINTK_PENDING_WAKEUP   0x01
1734 #define PRINTK_PENDING_SCHED    0x02
1735
1736 static DEFINE_PER_CPU(int, printk_pending);
1737 static DEFINE_PER_CPU(char [PRINTK_BUF_SIZE], printk_sched_buf);
1738
1739 void printk_tick(void)
1740 {
1741         if (__this_cpu_read(printk_pending)) {
1742                 int pending = __this_cpu_xchg(printk_pending, 0);
1743                 if (pending & PRINTK_PENDING_SCHED) {
1744                         char *buf = __get_cpu_var(printk_sched_buf);
1745                         printk(KERN_WARNING "[sched_delayed] %s", buf);
1746                 }
1747                 if (pending & PRINTK_PENDING_WAKEUP)
1748                         wake_up_interruptible(&log_wait);
1749         }
1750 }
1751
1752 int printk_needs_cpu(int cpu)
1753 {
1754         if (cpu_is_offline(cpu))
1755                 printk_tick();
1756         return __this_cpu_read(printk_pending);
1757 }
1758
1759 void wake_up_klogd(void)
1760 {
1761         if (waitqueue_active(&log_wait))
1762                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
1763 }
1764
1765 /* the next printk record to write to the console */
1766 static u64 console_seq;
1767 static u32 console_idx;
1768
1769 /**
1770  * console_unlock - unlock the console system
1771  *
1772  * Releases the console_lock which the caller holds on the console system
1773  * and the console driver list.
1774  *
1775  * While the console_lock was held, console output may have been buffered
1776  * by printk().  If this is the case, console_unlock(); emits
1777  * the output prior to releasing the lock.
1778  *
1779  * If there is output waiting, we wake /dev/kmsg and syslog() users.
1780  *
1781  * console_unlock(); may be called from any context.
1782  */
1783 void console_unlock(void)
1784 {
1785         static u64 seen_seq;
1786         unsigned long flags;
1787         bool wake_klogd = false;
1788         bool retry;
1789
1790         if (console_suspended) {
1791                 up(&console_sem);
1792                 return;
1793         }
1794
1795         console_may_schedule = 0;
1796
1797 again:
1798         for (;;) {
1799                 struct log *msg;
1800                 static char text[LOG_LINE_MAX];
1801                 size_t len;
1802                 int level;
1803
1804                 raw_spin_lock_irqsave(&logbuf_lock, flags);
1805                 if (seen_seq != log_next_seq) {
1806                         wake_klogd = true;
1807                         seen_seq = log_next_seq;
1808                 }
1809
1810                 if (console_seq < log_first_seq) {
1811                         /* messages are gone, move to first one */
1812                         console_seq = log_first_seq;
1813                         console_idx = log_first_idx;
1814                 }
1815
1816                 if (console_seq == log_next_seq)
1817                         break;
1818
1819                 msg = log_from_idx(console_idx);
1820                 level = msg->level & 7;
1821
1822                 len = msg_print_text(msg, false, text, sizeof(text));
1823
1824                 console_idx = log_next(console_idx);
1825                 console_seq++;
1826                 raw_spin_unlock(&logbuf_lock);
1827
1828                 stop_critical_timings();        /* don't trace print latency */
1829                 call_console_drivers(level, text, len);
1830                 start_critical_timings();
1831                 local_irq_restore(flags);
1832         }
1833         console_locked = 0;
1834
1835         /* Release the exclusive_console once it is used */
1836         if (unlikely(exclusive_console))
1837                 exclusive_console = NULL;
1838
1839         raw_spin_unlock(&logbuf_lock);
1840
1841         up(&console_sem);
1842
1843         /*
1844          * Someone could have filled up the buffer again, so re-check if there's
1845          * something to flush. In case we cannot trylock the console_sem again,
1846          * there's a new owner and the console_unlock() from them will do the
1847          * flush, no worries.
1848          */
1849         raw_spin_lock(&logbuf_lock);
1850         retry = console_seq != log_next_seq;
1851         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
1852
1853         if (retry && console_trylock())
1854                 goto again;
1855
1856         if (wake_klogd)
1857                 wake_up_klogd();
1858 }
1859 EXPORT_SYMBOL(console_unlock);
1860
1861 /**
1862  * console_conditional_schedule - yield the CPU if required
1863  *
1864  * If the console code is currently allowed to sleep, and
1865  * if this CPU should yield the CPU to another task, do
1866  * so here.
1867  *
1868  * Must be called within console_lock();.
1869  */
1870 void __sched console_conditional_schedule(void)
1871 {
1872         if (console_may_schedule)
1873                 cond_resched();
1874 }
1875 EXPORT_SYMBOL(console_conditional_schedule);
1876
1877 void console_unblank(void)
1878 {
1879         struct console *c;
1880
1881         /*
1882          * console_unblank can no longer be called in interrupt context unless
1883          * oops_in_progress is set to 1..
1884          */
1885         if (oops_in_progress) {
1886                 if (down_trylock(&console_sem) != 0)
1887                         return;
1888         } else
1889                 console_lock();
1890
1891         console_locked = 1;
1892         console_may_schedule = 0;
1893         for_each_console(c)
1894                 if ((c->flags & CON_ENABLED) && c->unblank)
1895                         c->unblank();
1896         console_unlock();
1897 }
1898
1899 /*
1900  * Return the console tty driver structure and its associated index
1901  */
1902 struct tty_driver *console_device(int *index)
1903 {
1904         struct console *c;
1905         struct tty_driver *driver = NULL;
1906
1907         console_lock();
1908         for_each_console(c) {
1909                 if (!c->device)
1910                         continue;
1911                 driver = c->device(c, index);
1912                 if (driver)
1913                         break;
1914         }
1915         console_unlock();
1916         return driver;
1917 }
1918
1919 /*
1920  * Prevent further output on the passed console device so that (for example)
1921  * serial drivers can disable console output before suspending a port, and can
1922  * re-enable output afterwards.
1923  */
1924 void console_stop(struct console *console)
1925 {
1926         console_lock();
1927         console->flags &= ~CON_ENABLED;
1928         console_unlock();
1929 }
1930 EXPORT_SYMBOL(console_stop);
1931
1932 void console_start(struct console *console)
1933 {
1934         console_lock();
1935         console->flags |= CON_ENABLED;
1936         console_unlock();
1937 }
1938 EXPORT_SYMBOL(console_start);
1939
1940 static int __read_mostly keep_bootcon;
1941
1942 static int __init keep_bootcon_setup(char *str)
1943 {
1944         keep_bootcon = 1;
1945         printk(KERN_INFO "debug: skip boot console de-registration.\n");
1946
1947         return 0;
1948 }
1949
1950 early_param("keep_bootcon", keep_bootcon_setup);
1951
1952 /*
1953  * The console driver calls this routine during kernel initialization
1954  * to register the console printing procedure with printk() and to
1955  * print any messages that were printed by the kernel before the
1956  * console driver was initialized.
1957  *
1958  * This can happen pretty early during the boot process (because of
1959  * early_printk) - sometimes before setup_arch() completes - be careful
1960  * of what kernel features are used - they may not be initialised yet.
1961  *
1962  * There are two types of consoles - bootconsoles (early_printk) and
1963  * "real" consoles (everything which is not a bootconsole) which are
1964  * handled differently.
1965  *  - Any number of bootconsoles can be registered at any time.
1966  *  - As soon as a "real" console is registered, all bootconsoles
1967  *    will be unregistered automatically.
1968  *  - Once a "real" console is registered, any attempt to register a
1969  *    bootconsoles will be rejected
1970  */
1971 void register_console(struct console *newcon)
1972 {
1973         int i;
1974         unsigned long flags;
1975         struct console *bcon = NULL;
1976
1977         /*
1978          * before we register a new CON_BOOT console, make sure we don't
1979          * already have a valid console
1980          */
1981         if (console_drivers && newcon->flags & CON_BOOT) {
1982                 /* find the last or real console */
1983                 for_each_console(bcon) {
1984                         if (!(bcon->flags & CON_BOOT)) {
1985                                 printk(KERN_INFO "Too late to register bootconsole %s%d\n",
1986                                         newcon->name, newcon->index);
1987                                 return;
1988                         }
1989                 }
1990         }
1991
1992         if (console_drivers && console_drivers->flags & CON_BOOT)
1993                 bcon = console_drivers;
1994
1995         if (preferred_console < 0 || bcon || !console_drivers)
1996                 preferred_console = selected_console;
1997
1998         if (newcon->early_setup)
1999                 newcon->early_setup();
2000
2001         /*
2002          *      See if we want to use this console driver. If we
2003          *      didn't select a console we take the first one
2004          *      that registers here.
2005          */
2006         if (preferred_console < 0) {
2007                 if (newcon->index < 0)
2008                         newcon->index = 0;
2009                 if (newcon->setup == NULL ||
2010                     newcon->setup(newcon, NULL) == 0) {
2011                         newcon->flags |= CON_ENABLED;
2012                         if (newcon->device) {
2013                                 newcon->flags |= CON_CONSDEV;
2014                                 preferred_console = 0;
2015                         }
2016                 }
2017         }
2018
2019         /*
2020          *      See if this console matches one we selected on
2021          *      the command line.
2022          */
2023         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0];
2024                         i++) {
2025                 if (strcmp(console_cmdline[i].name, newcon->name) != 0)
2026                         continue;
2027                 if (newcon->index >= 0 &&
2028                     newcon->index != console_cmdline[i].index)
2029                         continue;
2030                 if (newcon->index < 0)
2031                         newcon->index = console_cmdline[i].index;
2032 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2033                 if (console_cmdline[i].brl_options) {
2034                         newcon->flags |= CON_BRL;
2035                         braille_register_console(newcon,
2036                                         console_cmdline[i].index,
2037                                         console_cmdline[i].options,
2038                                         console_cmdline[i].brl_options);
2039                         return;
2040                 }
2041 #endif
2042                 if (newcon->setup &&
2043                     newcon->setup(newcon, console_cmdline[i].options) != 0)
2044                         break;
2045                 newcon->flags |= CON_ENABLED;
2046                 newcon->index = console_cmdline[i].index;
2047                 if (i == selected_console) {
2048                         newcon->flags |= CON_CONSDEV;
2049                         preferred_console = selected_console;
2050                 }
2051                 break;
2052         }
2053
2054         if (!(newcon->flags & CON_ENABLED))
2055                 return;
2056
2057         /*
2058          * If we have a bootconsole, and are switching to a real console,
2059          * don't print everything out again, since when the boot console, and
2060          * the real console are the same physical device, it's annoying to
2061          * see the beginning boot messages twice
2062          */
2063         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2064                 newcon->flags &= ~CON_PRINTBUFFER;
2065
2066         /*
2067          *      Put this console in the list - keep the
2068          *      preferred driver at the head of the list.
2069          */
2070         console_lock();
2071         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2072                 newcon->next = console_drivers;
2073                 console_drivers = newcon;
2074                 if (newcon->next)
2075                         newcon->next->flags &= ~CON_CONSDEV;
2076         } else {
2077                 newcon->next = console_drivers->next;
2078                 console_drivers->next = newcon;
2079         }
2080         if (newcon->flags & CON_PRINTBUFFER) {
2081                 /*
2082                  * console_unlock(); will print out the buffered messages
2083                  * for us.
2084                  */
2085                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2086                 console_seq = syslog_seq;
2087                 console_idx = syslog_idx;
2088                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2089                 /*
2090                  * We're about to replay the log buffer.  Only do this to the
2091                  * just-registered console to avoid excessive message spam to
2092                  * the already-registered consoles.
2093                  */
2094                 exclusive_console = newcon;
2095         }
2096         console_unlock();
2097         console_sysfs_notify();
2098
2099         /*
2100          * By unregistering the bootconsoles after we enable the real console
2101          * we get the "console xxx enabled" message on all the consoles -
2102          * boot consoles, real consoles, etc - this is to ensure that end
2103          * users know there might be something in the kernel's log buffer that
2104          * went to the bootconsole (that they do not see on the real console)
2105          */
2106         if (bcon &&
2107             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2108             !keep_bootcon) {
2109                 /* we need to iterate through twice, to make sure we print
2110                  * everything out, before we unregister the console(s)
2111                  */
2112                 printk(KERN_INFO "console [%s%d] enabled, bootconsole disabled\n",
2113                         newcon->name, newcon->index);
2114                 for_each_console(bcon)
2115                         if (bcon->flags & CON_BOOT)
2116                                 unregister_console(bcon);
2117         } else {
2118                 printk(KERN_INFO "%sconsole [%s%d] enabled\n",
2119                         (newcon->flags & CON_BOOT) ? "boot" : "" ,
2120                         newcon->name, newcon->index);
2121         }
2122 }
2123 EXPORT_SYMBOL(register_console);
2124
2125 int unregister_console(struct console *console)
2126 {
2127         struct console *a, *b;
2128         int res = 1;
2129
2130 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2131         if (console->flags & CON_BRL)
2132                 return braille_unregister_console(console);
2133 #endif
2134
2135         console_lock();
2136         if (console_drivers == console) {
2137                 console_drivers=console->next;
2138                 res = 0;
2139         } else if (console_drivers) {
2140                 for (a=console_drivers->next, b=console_drivers ;
2141                      a; b=a, a=b->next) {
2142                         if (a == console) {
2143                                 b->next = a->next;
2144                                 res = 0;
2145                                 break;
2146                         }
2147                 }
2148         }
2149
2150         /*
2151          * If this isn't the last console and it has CON_CONSDEV set, we
2152          * need to set it on the next preferred console.
2153          */
2154         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2155                 console_drivers->flags |= CON_CONSDEV;
2156
2157         console_unlock();
2158         console_sysfs_notify();
2159         return res;
2160 }
2161 EXPORT_SYMBOL(unregister_console);
2162
2163 static int __init printk_late_init(void)
2164 {
2165         struct console *con;
2166
2167         for_each_console(con) {
2168                 if (!keep_bootcon && con->flags & CON_BOOT) {
2169                         printk(KERN_INFO "turn off boot console %s%d\n",
2170                                 con->name, con->index);
2171                         unregister_console(con);
2172                 }
2173         }
2174         hotcpu_notifier(console_cpu_notify, 0);
2175         return 0;
2176 }
2177 late_initcall(printk_late_init);
2178
2179 #if defined CONFIG_PRINTK
2180
2181 int printk_sched(const char *fmt, ...)
2182 {
2183         unsigned long flags;
2184         va_list args;
2185         char *buf;
2186         int r;
2187
2188         local_irq_save(flags);
2189         buf = __get_cpu_var(printk_sched_buf);
2190
2191         va_start(args, fmt);
2192         r = vsnprintf(buf, PRINTK_BUF_SIZE, fmt, args);
2193         va_end(args);
2194
2195         __this_cpu_or(printk_pending, PRINTK_PENDING_SCHED);
2196         local_irq_restore(flags);
2197
2198         return r;
2199 }
2200
2201 /*
2202  * printk rate limiting, lifted from the networking subsystem.
2203  *
2204  * This enforces a rate limit: not more than 10 kernel messages
2205  * every 5s to make a denial-of-service attack impossible.
2206  */
2207 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2208
2209 int __printk_ratelimit(const char *func)
2210 {
2211         return ___ratelimit(&printk_ratelimit_state, func);
2212 }
2213 EXPORT_SYMBOL(__printk_ratelimit);
2214
2215 /**
2216  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2217  * @caller_jiffies: pointer to caller's state
2218  * @interval_msecs: minimum interval between prints
2219  *
2220  * printk_timed_ratelimit() returns true if more than @interval_msecs
2221  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2222  * returned true.
2223  */
2224 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2225                         unsigned int interval_msecs)
2226 {
2227         if (*caller_jiffies == 0
2228                         || !time_in_range(jiffies, *caller_jiffies,
2229                                         *caller_jiffies
2230                                         + msecs_to_jiffies(interval_msecs))) {
2231                 *caller_jiffies = jiffies;
2232                 return true;
2233         }
2234         return false;
2235 }
2236 EXPORT_SYMBOL(printk_timed_ratelimit);
2237
2238 static DEFINE_SPINLOCK(dump_list_lock);
2239 static LIST_HEAD(dump_list);
2240
2241 /**
2242  * kmsg_dump_register - register a kernel log dumper.
2243  * @dumper: pointer to the kmsg_dumper structure
2244  *
2245  * Adds a kernel log dumper to the system. The dump callback in the
2246  * structure will be called when the kernel oopses or panics and must be
2247  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2248  */
2249 int kmsg_dump_register(struct kmsg_dumper *dumper)
2250 {
2251         unsigned long flags;
2252         int err = -EBUSY;
2253
2254         /* The dump callback needs to be set */
2255         if (!dumper->dump)
2256                 return -EINVAL;
2257
2258         spin_lock_irqsave(&dump_list_lock, flags);
2259         /* Don't allow registering multiple times */
2260         if (!dumper->registered) {
2261                 dumper->registered = 1;
2262                 list_add_tail_rcu(&dumper->list, &dump_list);
2263                 err = 0;
2264         }
2265         spin_unlock_irqrestore(&dump_list_lock, flags);
2266
2267         return err;
2268 }
2269 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2270
2271 /**
2272  * kmsg_dump_unregister - unregister a kmsg dumper.
2273  * @dumper: pointer to the kmsg_dumper structure
2274  *
2275  * Removes a dump device from the system. Returns zero on success and
2276  * %-EINVAL otherwise.
2277  */
2278 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2279 {
2280         unsigned long flags;
2281         int err = -EINVAL;
2282
2283         spin_lock_irqsave(&dump_list_lock, flags);
2284         if (dumper->registered) {
2285                 dumper->registered = 0;
2286                 list_del_rcu(&dumper->list);
2287                 err = 0;
2288         }
2289         spin_unlock_irqrestore(&dump_list_lock, flags);
2290         synchronize_rcu();
2291
2292         return err;
2293 }
2294 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2295
2296 static bool always_kmsg_dump;
2297 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2298
2299 /**
2300  * kmsg_dump - dump kernel log to kernel message dumpers.
2301  * @reason: the reason (oops, panic etc) for dumping
2302  *
2303  * Iterate through each of the dump devices and call the oops/panic
2304  * callbacks with the log buffer.
2305  */
2306 void kmsg_dump(enum kmsg_dump_reason reason)
2307 {
2308         u64 idx;
2309         struct kmsg_dumper *dumper;
2310         const char *s1, *s2;
2311         unsigned long l1, l2;
2312         unsigned long flags;
2313
2314         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2315                 return;
2316
2317         /* Theoretically, the log could move on after we do this, but
2318            there's not a lot we can do about that. The new messages
2319            will overwrite the start of what we dump. */
2320
2321         raw_spin_lock_irqsave(&logbuf_lock, flags);
2322         if (syslog_seq < log_first_seq)
2323                 idx = syslog_idx;
2324         else
2325                 idx = log_first_idx;
2326
2327         if (idx > log_next_idx) {
2328                 s1 = log_buf;
2329                 l1 = log_next_idx;
2330
2331                 s2 = log_buf + idx;
2332                 l2 = log_buf_len - idx;
2333         } else {
2334                 s1 = "";
2335                 l1 = 0;
2336
2337                 s2 = log_buf + idx;
2338                 l2 = log_next_idx - idx;
2339         }
2340         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2341
2342         rcu_read_lock();
2343         list_for_each_entry_rcu(dumper, &dump_list, list)
2344                 dumper->dump(dumper, reason, s1, l1, s2, l2);
2345         rcu_read_unlock();
2346 }
2347 #endif