e79439134978cf5f572fa1e981a57c3a5c9a8f69
[platform/kernel/linux-rpi.git] / kernel / printk / printk.c
1 /*
2  *  linux/kernel/printk.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  * Modified to make sys_syslog() more flexible: added commands to
7  * return the last 4k of kernel messages, regardless of whether
8  * they've been read or not.  Added option to suppress kernel printk's
9  * to the console.  Added hook for sending the console messages
10  * elsewhere, in preparation for a serial line console (someday).
11  * Ted Ts'o, 2/11/93.
12  * Modified for sysctl support, 1/8/97, Chris Horn.
13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
14  *     manfred@colorfullife.com
15  * Rewrote bits to get rid of console_lock
16  *      01Mar01 Andrew Morton
17  */
18
19 #include <linux/kernel.h>
20 #include <linux/mm.h>
21 #include <linux/tty.h>
22 #include <linux/tty_driver.h>
23 #include <linux/console.h>
24 #include <linux/init.h>
25 #include <linux/jiffies.h>
26 #include <linux/nmi.h>
27 #include <linux/module.h>
28 #include <linux/moduleparam.h>
29 #include <linux/interrupt.h>                    /* For in_interrupt() */
30 #include <linux/delay.h>
31 #include <linux/smp.h>
32 #include <linux/security.h>
33 #include <linux/bootmem.h>
34 #include <linux/memblock.h>
35 #include <linux/syscalls.h>
36 #include <linux/kexec.h>
37 #include <linux/kdb.h>
38 #include <linux/ratelimit.h>
39 #include <linux/kmsg_dump.h>
40 #include <linux/syslog.h>
41 #include <linux/cpu.h>
42 #include <linux/notifier.h>
43 #include <linux/rculist.h>
44 #include <linux/poll.h>
45 #include <linux/irq_work.h>
46 #include <linux/utsname.h>
47 #include <linux/ctype.h>
48 #include <linux/uio.h>
49
50 #include <asm/uaccess.h>
51 #include <asm-generic/sections.h>
52
53 #define CREATE_TRACE_POINTS
54 #include <trace/events/printk.h>
55
56 #include "console_cmdline.h"
57 #include "braille.h"
58
59 int console_printk[4] = {
60         CONSOLE_LOGLEVEL_DEFAULT,       /* console_loglevel */
61         MESSAGE_LOGLEVEL_DEFAULT,       /* default_message_loglevel */
62         CONSOLE_LOGLEVEL_MIN,           /* minimum_console_loglevel */
63         CONSOLE_LOGLEVEL_DEFAULT,       /* default_console_loglevel */
64 };
65
66 /*
67  * Low level drivers may need that to know if they can schedule in
68  * their unblank() callback or not. So let's export it.
69  */
70 int oops_in_progress;
71 EXPORT_SYMBOL(oops_in_progress);
72
73 /*
74  * console_sem protects the console_drivers list, and also
75  * provides serialisation for access to the entire console
76  * driver system.
77  */
78 static DEFINE_SEMAPHORE(console_sem);
79 struct console *console_drivers;
80 EXPORT_SYMBOL_GPL(console_drivers);
81
82 #ifdef CONFIG_LOCKDEP
83 static struct lockdep_map console_lock_dep_map = {
84         .name = "console_lock"
85 };
86 #endif
87
88 /*
89  * Number of registered extended console drivers.
90  *
91  * If extended consoles are present, in-kernel cont reassembly is disabled
92  * and each fragment is stored as a separate log entry with proper
93  * continuation flag so that every emitted message has full metadata.  This
94  * doesn't change the result for regular consoles or /proc/kmsg.  For
95  * /dev/kmsg, as long as the reader concatenates messages according to
96  * consecutive continuation flags, the end result should be the same too.
97  */
98 static int nr_ext_console_drivers;
99
100 /*
101  * Helper macros to handle lockdep when locking/unlocking console_sem. We use
102  * macros instead of functions so that _RET_IP_ contains useful information.
103  */
104 #define down_console_sem() do { \
105         down(&console_sem);\
106         mutex_acquire(&console_lock_dep_map, 0, 0, _RET_IP_);\
107 } while (0)
108
109 static int __down_trylock_console_sem(unsigned long ip)
110 {
111         if (down_trylock(&console_sem))
112                 return 1;
113         mutex_acquire(&console_lock_dep_map, 0, 1, ip);
114         return 0;
115 }
116 #define down_trylock_console_sem() __down_trylock_console_sem(_RET_IP_)
117
118 #define up_console_sem() do { \
119         mutex_release(&console_lock_dep_map, 1, _RET_IP_);\
120         up(&console_sem);\
121 } while (0)
122
123 /*
124  * This is used for debugging the mess that is the VT code by
125  * keeping track if we have the console semaphore held. It's
126  * definitely not the perfect debug tool (we don't know if _WE_
127  * hold it and are racing, but it helps tracking those weird code
128  * paths in the console code where we end up in places I want
129  * locked without the console sempahore held).
130  */
131 static int console_locked, console_suspended;
132
133 /*
134  * If exclusive_console is non-NULL then only this console is to be printed to.
135  */
136 static struct console *exclusive_console;
137
138 /*
139  *      Array of consoles built from command line options (console=)
140  */
141
142 #define MAX_CMDLINECONSOLES 8
143
144 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
145
146 static int selected_console = -1;
147 static int preferred_console = -1;
148 int console_set_on_cmdline;
149 EXPORT_SYMBOL(console_set_on_cmdline);
150
151 /* Flag: console code may call schedule() */
152 static int console_may_schedule;
153
154 /*
155  * The printk log buffer consists of a chain of concatenated variable
156  * length records. Every record starts with a record header, containing
157  * the overall length of the record.
158  *
159  * The heads to the first and last entry in the buffer, as well as the
160  * sequence numbers of these entries are maintained when messages are
161  * stored.
162  *
163  * If the heads indicate available messages, the length in the header
164  * tells the start next message. A length == 0 for the next message
165  * indicates a wrap-around to the beginning of the buffer.
166  *
167  * Every record carries the monotonic timestamp in microseconds, as well as
168  * the standard userspace syslog level and syslog facility. The usual
169  * kernel messages use LOG_KERN; userspace-injected messages always carry
170  * a matching syslog facility, by default LOG_USER. The origin of every
171  * message can be reliably determined that way.
172  *
173  * The human readable log message directly follows the message header. The
174  * length of the message text is stored in the header, the stored message
175  * is not terminated.
176  *
177  * Optionally, a message can carry a dictionary of properties (key/value pairs),
178  * to provide userspace with a machine-readable message context.
179  *
180  * Examples for well-defined, commonly used property names are:
181  *   DEVICE=b12:8               device identifier
182  *                                b12:8         block dev_t
183  *                                c127:3        char dev_t
184  *                                n8            netdev ifindex
185  *                                +sound:card0  subsystem:devname
186  *   SUBSYSTEM=pci              driver-core subsystem name
187  *
188  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
189  * follows directly after a '=' character. Every property is terminated by
190  * a '\0' character. The last property is not terminated.
191  *
192  * Example of a message structure:
193  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
194  *   0008  34 00                        record is 52 bytes long
195  *   000a        0b 00                  text is 11 bytes long
196  *   000c              1f 00            dictionary is 23 bytes long
197  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
198  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
199  *         69 6e 65                     "ine"
200  *   001b           44 45 56 49 43      "DEVIC"
201  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
202  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
203  *         67                           "g"
204  *   0032     00 00 00                  padding to next message header
205  *
206  * The 'struct printk_log' buffer header must never be directly exported to
207  * userspace, it is a kernel-private implementation detail that might
208  * need to be changed in the future, when the requirements change.
209  *
210  * /dev/kmsg exports the structured data in the following line format:
211  *   "<level>,<sequnum>,<timestamp>,<contflag>[,additional_values, ... ];<message text>\n"
212  *
213  * Users of the export format should ignore possible additional values
214  * separated by ',', and find the message after the ';' character.
215  *
216  * The optional key/value pairs are attached as continuation lines starting
217  * with a space character and terminated by a newline. All possible
218  * non-prinatable characters are escaped in the "\xff" notation.
219  */
220
221 enum log_flags {
222         LOG_NOCONS      = 1,    /* already flushed, do not print to console */
223         LOG_NEWLINE     = 2,    /* text ended with a newline */
224         LOG_PREFIX      = 4,    /* text started with a prefix */
225         LOG_CONT        = 8,    /* text is a fragment of a continuation line */
226 };
227
228 struct printk_log {
229         u64 ts_nsec;            /* timestamp in nanoseconds */
230         u16 len;                /* length of entire record */
231         u16 text_len;           /* length of text buffer */
232         u16 dict_len;           /* length of dictionary buffer */
233         u8 facility;            /* syslog facility */
234         u8 flags:5;             /* internal record flags */
235         u8 level:3;             /* syslog level */
236 };
237
238 /*
239  * The logbuf_lock protects kmsg buffer, indices, counters.  This can be taken
240  * within the scheduler's rq lock. It must be released before calling
241  * console_unlock() or anything else that might wake up a process.
242  */
243 static DEFINE_RAW_SPINLOCK(logbuf_lock);
244
245 #ifdef CONFIG_PRINTK
246 DECLARE_WAIT_QUEUE_HEAD(log_wait);
247 /* the next printk record to read by syslog(READ) or /proc/kmsg */
248 static u64 syslog_seq;
249 static u32 syslog_idx;
250 static enum log_flags syslog_prev;
251 static size_t syslog_partial;
252
253 /* index and sequence number of the first record stored in the buffer */
254 static u64 log_first_seq;
255 static u32 log_first_idx;
256
257 /* index and sequence number of the next record to store in the buffer */
258 static u64 log_next_seq;
259 static u32 log_next_idx;
260
261 /* the next printk record to write to the console */
262 static u64 console_seq;
263 static u32 console_idx;
264 static enum log_flags console_prev;
265
266 /* the next printk record to read after the last 'clear' command */
267 static u64 clear_seq;
268 static u32 clear_idx;
269
270 #define PREFIX_MAX              32
271 #define LOG_LINE_MAX            (1024 - PREFIX_MAX)
272
273 #define LOG_LEVEL(v)            ((v) & 0x07)
274 #define LOG_FACILITY(v)         ((v) >> 3 & 0xff)
275
276 /* record buffer */
277 #if defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
278 #define LOG_ALIGN 4
279 #else
280 #define LOG_ALIGN __alignof__(struct printk_log)
281 #endif
282 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
283 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
284 static char *log_buf = __log_buf;
285 static u32 log_buf_len = __LOG_BUF_LEN;
286
287 /* Return log buffer address */
288 char *log_buf_addr_get(void)
289 {
290         return log_buf;
291 }
292
293 /* Return log buffer size */
294 u32 log_buf_len_get(void)
295 {
296         return log_buf_len;
297 }
298
299 /* human readable text of the record */
300 static char *log_text(const struct printk_log *msg)
301 {
302         return (char *)msg + sizeof(struct printk_log);
303 }
304
305 /* optional key/value pair dictionary attached to the record */
306 static char *log_dict(const struct printk_log *msg)
307 {
308         return (char *)msg + sizeof(struct printk_log) + msg->text_len;
309 }
310
311 /* get record by index; idx must point to valid msg */
312 static struct printk_log *log_from_idx(u32 idx)
313 {
314         struct printk_log *msg = (struct printk_log *)(log_buf + idx);
315
316         /*
317          * A length == 0 record is the end of buffer marker. Wrap around and
318          * read the message at the start of the buffer.
319          */
320         if (!msg->len)
321                 return (struct printk_log *)log_buf;
322         return msg;
323 }
324
325 /* get next record; idx must point to valid msg */
326 static u32 log_next(u32 idx)
327 {
328         struct printk_log *msg = (struct printk_log *)(log_buf + idx);
329
330         /* length == 0 indicates the end of the buffer; wrap */
331         /*
332          * A length == 0 record is the end of buffer marker. Wrap around and
333          * read the message at the start of the buffer as *this* one, and
334          * return the one after that.
335          */
336         if (!msg->len) {
337                 msg = (struct printk_log *)log_buf;
338                 return msg->len;
339         }
340         return idx + msg->len;
341 }
342
343 /*
344  * Check whether there is enough free space for the given message.
345  *
346  * The same values of first_idx and next_idx mean that the buffer
347  * is either empty or full.
348  *
349  * If the buffer is empty, we must respect the position of the indexes.
350  * They cannot be reset to the beginning of the buffer.
351  */
352 static int logbuf_has_space(u32 msg_size, bool empty)
353 {
354         u32 free;
355
356         if (log_next_idx > log_first_idx || empty)
357                 free = max(log_buf_len - log_next_idx, log_first_idx);
358         else
359                 free = log_first_idx - log_next_idx;
360
361         /*
362          * We need space also for an empty header that signalizes wrapping
363          * of the buffer.
364          */
365         return free >= msg_size + sizeof(struct printk_log);
366 }
367
368 static int log_make_free_space(u32 msg_size)
369 {
370         while (log_first_seq < log_next_seq) {
371                 if (logbuf_has_space(msg_size, false))
372                         return 0;
373                 /* drop old messages until we have enough contiguous space */
374                 log_first_idx = log_next(log_first_idx);
375                 log_first_seq++;
376         }
377
378         /* sequence numbers are equal, so the log buffer is empty */
379         if (logbuf_has_space(msg_size, true))
380                 return 0;
381
382         return -ENOMEM;
383 }
384
385 /* compute the message size including the padding bytes */
386 static u32 msg_used_size(u16 text_len, u16 dict_len, u32 *pad_len)
387 {
388         u32 size;
389
390         size = sizeof(struct printk_log) + text_len + dict_len;
391         *pad_len = (-size) & (LOG_ALIGN - 1);
392         size += *pad_len;
393
394         return size;
395 }
396
397 /*
398  * Define how much of the log buffer we could take at maximum. The value
399  * must be greater than two. Note that only half of the buffer is available
400  * when the index points to the middle.
401  */
402 #define MAX_LOG_TAKE_PART 4
403 static const char trunc_msg[] = "<truncated>";
404
405 static u32 truncate_msg(u16 *text_len, u16 *trunc_msg_len,
406                         u16 *dict_len, u32 *pad_len)
407 {
408         /*
409          * The message should not take the whole buffer. Otherwise, it might
410          * get removed too soon.
411          */
412         u32 max_text_len = log_buf_len / MAX_LOG_TAKE_PART;
413         if (*text_len > max_text_len)
414                 *text_len = max_text_len;
415         /* enable the warning message */
416         *trunc_msg_len = strlen(trunc_msg);
417         /* disable the "dict" completely */
418         *dict_len = 0;
419         /* compute the size again, count also the warning message */
420         return msg_used_size(*text_len + *trunc_msg_len, 0, pad_len);
421 }
422
423 /* insert record into the buffer, discard old ones, update heads */
424 static int log_store(int facility, int level,
425                      enum log_flags flags, u64 ts_nsec,
426                      const char *dict, u16 dict_len,
427                      const char *text, u16 text_len)
428 {
429         struct printk_log *msg;
430         u32 size, pad_len;
431         u16 trunc_msg_len = 0;
432
433         /* number of '\0' padding bytes to next message */
434         size = msg_used_size(text_len, dict_len, &pad_len);
435
436         if (log_make_free_space(size)) {
437                 /* truncate the message if it is too long for empty buffer */
438                 size = truncate_msg(&text_len, &trunc_msg_len,
439                                     &dict_len, &pad_len);
440                 /* survive when the log buffer is too small for trunc_msg */
441                 if (log_make_free_space(size))
442                         return 0;
443         }
444
445         if (log_next_idx + size + sizeof(struct printk_log) > log_buf_len) {
446                 /*
447                  * This message + an additional empty header does not fit
448                  * at the end of the buffer. Add an empty header with len == 0
449                  * to signify a wrap around.
450                  */
451                 memset(log_buf + log_next_idx, 0, sizeof(struct printk_log));
452                 log_next_idx = 0;
453         }
454
455         /* fill message */
456         msg = (struct printk_log *)(log_buf + log_next_idx);
457         memcpy(log_text(msg), text, text_len);
458         msg->text_len = text_len;
459         if (trunc_msg_len) {
460                 memcpy(log_text(msg) + text_len, trunc_msg, trunc_msg_len);
461                 msg->text_len += trunc_msg_len;
462         }
463         memcpy(log_dict(msg), dict, dict_len);
464         msg->dict_len = dict_len;
465         msg->facility = facility;
466         msg->level = level & 7;
467         msg->flags = flags & 0x1f;
468         if (ts_nsec > 0)
469                 msg->ts_nsec = ts_nsec;
470         else
471                 msg->ts_nsec = local_clock();
472         memset(log_dict(msg) + dict_len, 0, pad_len);
473         msg->len = size;
474
475         /* insert message */
476         log_next_idx += msg->len;
477         log_next_seq++;
478
479         return msg->text_len;
480 }
481
482 int dmesg_restrict = IS_ENABLED(CONFIG_SECURITY_DMESG_RESTRICT);
483
484 static int syslog_action_restricted(int type)
485 {
486         if (dmesg_restrict)
487                 return 1;
488         /*
489          * Unless restricted, we allow "read all" and "get buffer size"
490          * for everybody.
491          */
492         return type != SYSLOG_ACTION_READ_ALL &&
493                type != SYSLOG_ACTION_SIZE_BUFFER;
494 }
495
496 int check_syslog_permissions(int type, int source)
497 {
498         /*
499          * If this is from /proc/kmsg and we've already opened it, then we've
500          * already done the capabilities checks at open time.
501          */
502         if (source == SYSLOG_FROM_PROC && type != SYSLOG_ACTION_OPEN)
503                 goto ok;
504
505         if (syslog_action_restricted(type)) {
506                 if (capable(CAP_SYSLOG))
507                         goto ok;
508                 /*
509                  * For historical reasons, accept CAP_SYS_ADMIN too, with
510                  * a warning.
511                  */
512                 if (capable(CAP_SYS_ADMIN)) {
513                         pr_warn_once("%s (%d): Attempt to access syslog with "
514                                      "CAP_SYS_ADMIN but no CAP_SYSLOG "
515                                      "(deprecated).\n",
516                                  current->comm, task_pid_nr(current));
517                         goto ok;
518                 }
519                 return -EPERM;
520         }
521 ok:
522         return security_syslog(type);
523 }
524 EXPORT_SYMBOL_GPL(check_syslog_permissions);
525
526 static void append_char(char **pp, char *e, char c)
527 {
528         if (*pp < e)
529                 *(*pp)++ = c;
530 }
531
532 static ssize_t msg_print_ext_header(char *buf, size_t size,
533                                     struct printk_log *msg, u64 seq,
534                                     enum log_flags prev_flags)
535 {
536         u64 ts_usec = msg->ts_nsec;
537         char cont = '-';
538
539         do_div(ts_usec, 1000);
540
541         /*
542          * If we couldn't merge continuation line fragments during the print,
543          * export the stored flags to allow an optional external merge of the
544          * records. Merging the records isn't always neccessarily correct, like
545          * when we hit a race during printing. In most cases though, it produces
546          * better readable output. 'c' in the record flags mark the first
547          * fragment of a line, '+' the following.
548          */
549         if (msg->flags & LOG_CONT && !(prev_flags & LOG_CONT))
550                 cont = 'c';
551         else if ((msg->flags & LOG_CONT) ||
552                  ((prev_flags & LOG_CONT) && !(msg->flags & LOG_PREFIX)))
553                 cont = '+';
554
555         return scnprintf(buf, size, "%u,%llu,%llu,%c;",
556                        (msg->facility << 3) | msg->level, seq, ts_usec, cont);
557 }
558
559 static ssize_t msg_print_ext_body(char *buf, size_t size,
560                                   char *dict, size_t dict_len,
561                                   char *text, size_t text_len)
562 {
563         char *p = buf, *e = buf + size;
564         size_t i;
565
566         /* escape non-printable characters */
567         for (i = 0; i < text_len; i++) {
568                 unsigned char c = text[i];
569
570                 if (c < ' ' || c >= 127 || c == '\\')
571                         p += scnprintf(p, e - p, "\\x%02x", c);
572                 else
573                         append_char(&p, e, c);
574         }
575         append_char(&p, e, '\n');
576
577         if (dict_len) {
578                 bool line = true;
579
580                 for (i = 0; i < dict_len; i++) {
581                         unsigned char c = dict[i];
582
583                         if (line) {
584                                 append_char(&p, e, ' ');
585                                 line = false;
586                         }
587
588                         if (c == '\0') {
589                                 append_char(&p, e, '\n');
590                                 line = true;
591                                 continue;
592                         }
593
594                         if (c < ' ' || c >= 127 || c == '\\') {
595                                 p += scnprintf(p, e - p, "\\x%02x", c);
596                                 continue;
597                         }
598
599                         append_char(&p, e, c);
600                 }
601                 append_char(&p, e, '\n');
602         }
603
604         return p - buf;
605 }
606
607 /* /dev/kmsg - userspace message inject/listen interface */
608 struct devkmsg_user {
609         u64 seq;
610         u32 idx;
611         enum log_flags prev;
612         struct mutex lock;
613         char buf[CONSOLE_EXT_LOG_MAX];
614 };
615
616 static ssize_t devkmsg_write(struct kiocb *iocb, struct iov_iter *from)
617 {
618         char *buf, *line;
619         int level = default_message_loglevel;
620         int facility = 1;       /* LOG_USER */
621         size_t len = iov_iter_count(from);
622         ssize_t ret = len;
623
624         if (len > LOG_LINE_MAX)
625                 return -EINVAL;
626         buf = kmalloc(len+1, GFP_KERNEL);
627         if (buf == NULL)
628                 return -ENOMEM;
629
630         buf[len] = '\0';
631         if (copy_from_iter(buf, len, from) != len) {
632                 kfree(buf);
633                 return -EFAULT;
634         }
635
636         /*
637          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
638          * the decimal value represents 32bit, the lower 3 bit are the log
639          * level, the rest are the log facility.
640          *
641          * If no prefix or no userspace facility is specified, we
642          * enforce LOG_USER, to be able to reliably distinguish
643          * kernel-generated messages from userspace-injected ones.
644          */
645         line = buf;
646         if (line[0] == '<') {
647                 char *endp = NULL;
648                 unsigned int u;
649
650                 u = simple_strtoul(line + 1, &endp, 10);
651                 if (endp && endp[0] == '>') {
652                         level = LOG_LEVEL(u);
653                         if (LOG_FACILITY(u) != 0)
654                                 facility = LOG_FACILITY(u);
655                         endp++;
656                         len -= endp - line;
657                         line = endp;
658                 }
659         }
660
661         printk_emit(facility, level, NULL, 0, "%s", line);
662         kfree(buf);
663         return ret;
664 }
665
666 static ssize_t devkmsg_read(struct file *file, char __user *buf,
667                             size_t count, loff_t *ppos)
668 {
669         struct devkmsg_user *user = file->private_data;
670         struct printk_log *msg;
671         size_t len;
672         ssize_t ret;
673
674         if (!user)
675                 return -EBADF;
676
677         ret = mutex_lock_interruptible(&user->lock);
678         if (ret)
679                 return ret;
680         raw_spin_lock_irq(&logbuf_lock);
681         while (user->seq == log_next_seq) {
682                 if (file->f_flags & O_NONBLOCK) {
683                         ret = -EAGAIN;
684                         raw_spin_unlock_irq(&logbuf_lock);
685                         goto out;
686                 }
687
688                 raw_spin_unlock_irq(&logbuf_lock);
689                 ret = wait_event_interruptible(log_wait,
690                                                user->seq != log_next_seq);
691                 if (ret)
692                         goto out;
693                 raw_spin_lock_irq(&logbuf_lock);
694         }
695
696         if (user->seq < log_first_seq) {
697                 /* our last seen message is gone, return error and reset */
698                 user->idx = log_first_idx;
699                 user->seq = log_first_seq;
700                 ret = -EPIPE;
701                 raw_spin_unlock_irq(&logbuf_lock);
702                 goto out;
703         }
704
705         msg = log_from_idx(user->idx);
706         len = msg_print_ext_header(user->buf, sizeof(user->buf),
707                                    msg, user->seq, user->prev);
708         len += msg_print_ext_body(user->buf + len, sizeof(user->buf) - len,
709                                   log_dict(msg), msg->dict_len,
710                                   log_text(msg), msg->text_len);
711
712         user->prev = msg->flags;
713         user->idx = log_next(user->idx);
714         user->seq++;
715         raw_spin_unlock_irq(&logbuf_lock);
716
717         if (len > count) {
718                 ret = -EINVAL;
719                 goto out;
720         }
721
722         if (copy_to_user(buf, user->buf, len)) {
723                 ret = -EFAULT;
724                 goto out;
725         }
726         ret = len;
727 out:
728         mutex_unlock(&user->lock);
729         return ret;
730 }
731
732 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
733 {
734         struct devkmsg_user *user = file->private_data;
735         loff_t ret = 0;
736
737         if (!user)
738                 return -EBADF;
739         if (offset)
740                 return -ESPIPE;
741
742         raw_spin_lock_irq(&logbuf_lock);
743         switch (whence) {
744         case SEEK_SET:
745                 /* the first record */
746                 user->idx = log_first_idx;
747                 user->seq = log_first_seq;
748                 break;
749         case SEEK_DATA:
750                 /*
751                  * The first record after the last SYSLOG_ACTION_CLEAR,
752                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
753                  * changes no global state, and does not clear anything.
754                  */
755                 user->idx = clear_idx;
756                 user->seq = clear_seq;
757                 break;
758         case SEEK_END:
759                 /* after the last record */
760                 user->idx = log_next_idx;
761                 user->seq = log_next_seq;
762                 break;
763         default:
764                 ret = -EINVAL;
765         }
766         raw_spin_unlock_irq(&logbuf_lock);
767         return ret;
768 }
769
770 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
771 {
772         struct devkmsg_user *user = file->private_data;
773         int ret = 0;
774
775         if (!user)
776                 return POLLERR|POLLNVAL;
777
778         poll_wait(file, &log_wait, wait);
779
780         raw_spin_lock_irq(&logbuf_lock);
781         if (user->seq < log_next_seq) {
782                 /* return error when data has vanished underneath us */
783                 if (user->seq < log_first_seq)
784                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
785                 else
786                         ret = POLLIN|POLLRDNORM;
787         }
788         raw_spin_unlock_irq(&logbuf_lock);
789
790         return ret;
791 }
792
793 static int devkmsg_open(struct inode *inode, struct file *file)
794 {
795         struct devkmsg_user *user;
796         int err;
797
798         /* write-only does not need any file context */
799         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
800                 return 0;
801
802         err = check_syslog_permissions(SYSLOG_ACTION_READ_ALL,
803                                        SYSLOG_FROM_READER);
804         if (err)
805                 return err;
806
807         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
808         if (!user)
809                 return -ENOMEM;
810
811         mutex_init(&user->lock);
812
813         raw_spin_lock_irq(&logbuf_lock);
814         user->idx = log_first_idx;
815         user->seq = log_first_seq;
816         raw_spin_unlock_irq(&logbuf_lock);
817
818         file->private_data = user;
819         return 0;
820 }
821
822 static int devkmsg_release(struct inode *inode, struct file *file)
823 {
824         struct devkmsg_user *user = file->private_data;
825
826         if (!user)
827                 return 0;
828
829         mutex_destroy(&user->lock);
830         kfree(user);
831         return 0;
832 }
833
834 const struct file_operations kmsg_fops = {
835         .open = devkmsg_open,
836         .read = devkmsg_read,
837         .write_iter = devkmsg_write,
838         .llseek = devkmsg_llseek,
839         .poll = devkmsg_poll,
840         .release = devkmsg_release,
841 };
842
843 #ifdef CONFIG_KEXEC_CORE
844 /*
845  * This appends the listed symbols to /proc/vmcore
846  *
847  * /proc/vmcore is used by various utilities, like crash and makedumpfile to
848  * obtain access to symbols that are otherwise very difficult to locate.  These
849  * symbols are specifically used so that utilities can access and extract the
850  * dmesg log from a vmcore file after a crash.
851  */
852 void log_buf_kexec_setup(void)
853 {
854         VMCOREINFO_SYMBOL(log_buf);
855         VMCOREINFO_SYMBOL(log_buf_len);
856         VMCOREINFO_SYMBOL(log_first_idx);
857         VMCOREINFO_SYMBOL(log_next_idx);
858         /*
859          * Export struct printk_log size and field offsets. User space tools can
860          * parse it and detect any changes to structure down the line.
861          */
862         VMCOREINFO_STRUCT_SIZE(printk_log);
863         VMCOREINFO_OFFSET(printk_log, ts_nsec);
864         VMCOREINFO_OFFSET(printk_log, len);
865         VMCOREINFO_OFFSET(printk_log, text_len);
866         VMCOREINFO_OFFSET(printk_log, dict_len);
867 }
868 #endif
869
870 /* requested log_buf_len from kernel cmdline */
871 static unsigned long __initdata new_log_buf_len;
872
873 /* we practice scaling the ring buffer by powers of 2 */
874 static void __init log_buf_len_update(unsigned size)
875 {
876         if (size)
877                 size = roundup_pow_of_two(size);
878         if (size > log_buf_len)
879                 new_log_buf_len = size;
880 }
881
882 /* save requested log_buf_len since it's too early to process it */
883 static int __init log_buf_len_setup(char *str)
884 {
885         unsigned size = memparse(str, &str);
886
887         log_buf_len_update(size);
888
889         return 0;
890 }
891 early_param("log_buf_len", log_buf_len_setup);
892
893 #ifdef CONFIG_SMP
894 #define __LOG_CPU_MAX_BUF_LEN (1 << CONFIG_LOG_CPU_MAX_BUF_SHIFT)
895
896 static void __init log_buf_add_cpu(void)
897 {
898         unsigned int cpu_extra;
899
900         /*
901          * archs should set up cpu_possible_bits properly with
902          * set_cpu_possible() after setup_arch() but just in
903          * case lets ensure this is valid.
904          */
905         if (num_possible_cpus() == 1)
906                 return;
907
908         cpu_extra = (num_possible_cpus() - 1) * __LOG_CPU_MAX_BUF_LEN;
909
910         /* by default this will only continue through for large > 64 CPUs */
911         if (cpu_extra <= __LOG_BUF_LEN / 2)
912                 return;
913
914         pr_info("log_buf_len individual max cpu contribution: %d bytes\n",
915                 __LOG_CPU_MAX_BUF_LEN);
916         pr_info("log_buf_len total cpu_extra contributions: %d bytes\n",
917                 cpu_extra);
918         pr_info("log_buf_len min size: %d bytes\n", __LOG_BUF_LEN);
919
920         log_buf_len_update(cpu_extra + __LOG_BUF_LEN);
921 }
922 #else /* !CONFIG_SMP */
923 static inline void log_buf_add_cpu(void) {}
924 #endif /* CONFIG_SMP */
925
926 void __init setup_log_buf(int early)
927 {
928         unsigned long flags;
929         char *new_log_buf;
930         int free;
931
932         if (log_buf != __log_buf)
933                 return;
934
935         if (!early && !new_log_buf_len)
936                 log_buf_add_cpu();
937
938         if (!new_log_buf_len)
939                 return;
940
941         if (early) {
942                 new_log_buf =
943                         memblock_virt_alloc(new_log_buf_len, LOG_ALIGN);
944         } else {
945                 new_log_buf = memblock_virt_alloc_nopanic(new_log_buf_len,
946                                                           LOG_ALIGN);
947         }
948
949         if (unlikely(!new_log_buf)) {
950                 pr_err("log_buf_len: %ld bytes not available\n",
951                         new_log_buf_len);
952                 return;
953         }
954
955         raw_spin_lock_irqsave(&logbuf_lock, flags);
956         log_buf_len = new_log_buf_len;
957         log_buf = new_log_buf;
958         new_log_buf_len = 0;
959         free = __LOG_BUF_LEN - log_next_idx;
960         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
961         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
962
963         pr_info("log_buf_len: %d bytes\n", log_buf_len);
964         pr_info("early log buf free: %d(%d%%)\n",
965                 free, (free * 100) / __LOG_BUF_LEN);
966 }
967
968 static bool __read_mostly ignore_loglevel;
969
970 static int __init ignore_loglevel_setup(char *str)
971 {
972         ignore_loglevel = true;
973         pr_info("debug: ignoring loglevel setting.\n");
974
975         return 0;
976 }
977
978 early_param("ignore_loglevel", ignore_loglevel_setup);
979 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
980 MODULE_PARM_DESC(ignore_loglevel,
981                  "ignore loglevel setting (prints all kernel messages to the console)");
982
983 #ifdef CONFIG_BOOT_PRINTK_DELAY
984
985 static int boot_delay; /* msecs delay after each printk during bootup */
986 static unsigned long long loops_per_msec;       /* based on boot_delay */
987
988 static int __init boot_delay_setup(char *str)
989 {
990         unsigned long lpj;
991
992         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
993         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
994
995         get_option(&str, &boot_delay);
996         if (boot_delay > 10 * 1000)
997                 boot_delay = 0;
998
999         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
1000                 "HZ: %d, loops_per_msec: %llu\n",
1001                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
1002         return 0;
1003 }
1004 early_param("boot_delay", boot_delay_setup);
1005
1006 static void boot_delay_msec(int level)
1007 {
1008         unsigned long long k;
1009         unsigned long timeout;
1010
1011         if ((boot_delay == 0 || system_state != SYSTEM_BOOTING)
1012                 || (level >= console_loglevel && !ignore_loglevel)) {
1013                 return;
1014         }
1015
1016         k = (unsigned long long)loops_per_msec * boot_delay;
1017
1018         timeout = jiffies + msecs_to_jiffies(boot_delay);
1019         while (k) {
1020                 k--;
1021                 cpu_relax();
1022                 /*
1023                  * use (volatile) jiffies to prevent
1024                  * compiler reduction; loop termination via jiffies
1025                  * is secondary and may or may not happen.
1026                  */
1027                 if (time_after(jiffies, timeout))
1028                         break;
1029                 touch_nmi_watchdog();
1030         }
1031 }
1032 #else
1033 static inline void boot_delay_msec(int level)
1034 {
1035 }
1036 #endif
1037
1038 static bool printk_time = IS_ENABLED(CONFIG_PRINTK_TIME);
1039 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
1040
1041 static size_t print_time(u64 ts, char *buf)
1042 {
1043         unsigned long rem_nsec;
1044
1045         if (!printk_time)
1046                 return 0;
1047
1048         rem_nsec = do_div(ts, 1000000000);
1049
1050         if (!buf)
1051                 return snprintf(NULL, 0, "[%5lu.000000] ", (unsigned long)ts);
1052
1053         return sprintf(buf, "[%5lu.%06lu] ",
1054                        (unsigned long)ts, rem_nsec / 1000);
1055 }
1056
1057 static size_t print_prefix(const struct printk_log *msg, bool syslog, char *buf)
1058 {
1059         size_t len = 0;
1060         unsigned int prefix = (msg->facility << 3) | msg->level;
1061
1062         if (syslog) {
1063                 if (buf) {
1064                         len += sprintf(buf, "<%u>", prefix);
1065                 } else {
1066                         len += 3;
1067                         if (prefix > 999)
1068                                 len += 3;
1069                         else if (prefix > 99)
1070                                 len += 2;
1071                         else if (prefix > 9)
1072                                 len++;
1073                 }
1074         }
1075
1076         len += print_time(msg->ts_nsec, buf ? buf + len : NULL);
1077         return len;
1078 }
1079
1080 static size_t msg_print_text(const struct printk_log *msg, enum log_flags prev,
1081                              bool syslog, char *buf, size_t size)
1082 {
1083         const char *text = log_text(msg);
1084         size_t text_size = msg->text_len;
1085         bool prefix = true;
1086         bool newline = true;
1087         size_t len = 0;
1088
1089         if ((prev & LOG_CONT) && !(msg->flags & LOG_PREFIX))
1090                 prefix = false;
1091
1092         if (msg->flags & LOG_CONT) {
1093                 if ((prev & LOG_CONT) && !(prev & LOG_NEWLINE))
1094                         prefix = false;
1095
1096                 if (!(msg->flags & LOG_NEWLINE))
1097                         newline = false;
1098         }
1099
1100         do {
1101                 const char *next = memchr(text, '\n', text_size);
1102                 size_t text_len;
1103
1104                 if (next) {
1105                         text_len = next - text;
1106                         next++;
1107                         text_size -= next - text;
1108                 } else {
1109                         text_len = text_size;
1110                 }
1111
1112                 if (buf) {
1113                         if (print_prefix(msg, syslog, NULL) +
1114                             text_len + 1 >= size - len)
1115                                 break;
1116
1117                         if (prefix)
1118                                 len += print_prefix(msg, syslog, buf + len);
1119                         memcpy(buf + len, text, text_len);
1120                         len += text_len;
1121                         if (next || newline)
1122                                 buf[len++] = '\n';
1123                 } else {
1124                         /* SYSLOG_ACTION_* buffer size only calculation */
1125                         if (prefix)
1126                                 len += print_prefix(msg, syslog, NULL);
1127                         len += text_len;
1128                         if (next || newline)
1129                                 len++;
1130                 }
1131
1132                 prefix = true;
1133                 text = next;
1134         } while (text);
1135
1136         return len;
1137 }
1138
1139 static int syslog_print(char __user *buf, int size)
1140 {
1141         char *text;
1142         struct printk_log *msg;
1143         int len = 0;
1144
1145         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
1146         if (!text)
1147                 return -ENOMEM;
1148
1149         while (size > 0) {
1150                 size_t n;
1151                 size_t skip;
1152
1153                 raw_spin_lock_irq(&logbuf_lock);
1154                 if (syslog_seq < log_first_seq) {
1155                         /* messages are gone, move to first one */
1156                         syslog_seq = log_first_seq;
1157                         syslog_idx = log_first_idx;
1158                         syslog_prev = 0;
1159                         syslog_partial = 0;
1160                 }
1161                 if (syslog_seq == log_next_seq) {
1162                         raw_spin_unlock_irq(&logbuf_lock);
1163                         break;
1164                 }
1165
1166                 skip = syslog_partial;
1167                 msg = log_from_idx(syslog_idx);
1168                 n = msg_print_text(msg, syslog_prev, true, text,
1169                                    LOG_LINE_MAX + PREFIX_MAX);
1170                 if (n - syslog_partial <= size) {
1171                         /* message fits into buffer, move forward */
1172                         syslog_idx = log_next(syslog_idx);
1173                         syslog_seq++;
1174                         syslog_prev = msg->flags;
1175                         n -= syslog_partial;
1176                         syslog_partial = 0;
1177                 } else if (!len){
1178                         /* partial read(), remember position */
1179                         n = size;
1180                         syslog_partial += n;
1181                 } else
1182                         n = 0;
1183                 raw_spin_unlock_irq(&logbuf_lock);
1184
1185                 if (!n)
1186                         break;
1187
1188                 if (copy_to_user(buf, text + skip, n)) {
1189                         if (!len)
1190                                 len = -EFAULT;
1191                         break;
1192                 }
1193
1194                 len += n;
1195                 size -= n;
1196                 buf += n;
1197         }
1198
1199         kfree(text);
1200         return len;
1201 }
1202
1203 static int syslog_print_all(char __user *buf, int size, bool clear)
1204 {
1205         char *text;
1206         int len = 0;
1207
1208         text = kmalloc(LOG_LINE_MAX + PREFIX_MAX, GFP_KERNEL);
1209         if (!text)
1210                 return -ENOMEM;
1211
1212         raw_spin_lock_irq(&logbuf_lock);
1213         if (buf) {
1214                 u64 next_seq;
1215                 u64 seq;
1216                 u32 idx;
1217                 enum log_flags prev;
1218
1219                 if (clear_seq < log_first_seq) {
1220                         /* messages are gone, move to first available one */
1221                         clear_seq = log_first_seq;
1222                         clear_idx = log_first_idx;
1223                 }
1224
1225                 /*
1226                  * Find first record that fits, including all following records,
1227                  * into the user-provided buffer for this dump.
1228                  */
1229                 seq = clear_seq;
1230                 idx = clear_idx;
1231                 prev = 0;
1232                 while (seq < log_next_seq) {
1233                         struct printk_log *msg = log_from_idx(idx);
1234
1235                         len += msg_print_text(msg, prev, true, NULL, 0);
1236                         prev = msg->flags;
1237                         idx = log_next(idx);
1238                         seq++;
1239                 }
1240
1241                 /* move first record forward until length fits into the buffer */
1242                 seq = clear_seq;
1243                 idx = clear_idx;
1244                 prev = 0;
1245                 while (len > size && seq < log_next_seq) {
1246                         struct printk_log *msg = log_from_idx(idx);
1247
1248                         len -= msg_print_text(msg, prev, true, NULL, 0);
1249                         prev = msg->flags;
1250                         idx = log_next(idx);
1251                         seq++;
1252                 }
1253
1254                 /* last message fitting into this dump */
1255                 next_seq = log_next_seq;
1256
1257                 len = 0;
1258                 while (len >= 0 && seq < next_seq) {
1259                         struct printk_log *msg = log_from_idx(idx);
1260                         int textlen;
1261
1262                         textlen = msg_print_text(msg, prev, true, text,
1263                                                  LOG_LINE_MAX + PREFIX_MAX);
1264                         if (textlen < 0) {
1265                                 len = textlen;
1266                                 break;
1267                         }
1268                         idx = log_next(idx);
1269                         seq++;
1270                         prev = msg->flags;
1271
1272                         raw_spin_unlock_irq(&logbuf_lock);
1273                         if (copy_to_user(buf + len, text, textlen))
1274                                 len = -EFAULT;
1275                         else
1276                                 len += textlen;
1277                         raw_spin_lock_irq(&logbuf_lock);
1278
1279                         if (seq < log_first_seq) {
1280                                 /* messages are gone, move to next one */
1281                                 seq = log_first_seq;
1282                                 idx = log_first_idx;
1283                                 prev = 0;
1284                         }
1285                 }
1286         }
1287
1288         if (clear) {
1289                 clear_seq = log_next_seq;
1290                 clear_idx = log_next_idx;
1291         }
1292         raw_spin_unlock_irq(&logbuf_lock);
1293
1294         kfree(text);
1295         return len;
1296 }
1297
1298 int do_syslog(int type, char __user *buf, int len, int source)
1299 {
1300         bool clear = false;
1301         static int saved_console_loglevel = LOGLEVEL_DEFAULT;
1302         int error;
1303
1304         error = check_syslog_permissions(type, source);
1305         if (error)
1306                 goto out;
1307
1308         switch (type) {
1309         case SYSLOG_ACTION_CLOSE:       /* Close log */
1310                 break;
1311         case SYSLOG_ACTION_OPEN:        /* Open log */
1312                 break;
1313         case SYSLOG_ACTION_READ:        /* Read from log */
1314                 error = -EINVAL;
1315                 if (!buf || len < 0)
1316                         goto out;
1317                 error = 0;
1318                 if (!len)
1319                         goto out;
1320                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1321                         error = -EFAULT;
1322                         goto out;
1323                 }
1324                 error = wait_event_interruptible(log_wait,
1325                                                  syslog_seq != log_next_seq);
1326                 if (error)
1327                         goto out;
1328                 error = syslog_print(buf, len);
1329                 break;
1330         /* Read/clear last kernel messages */
1331         case SYSLOG_ACTION_READ_CLEAR:
1332                 clear = true;
1333                 /* FALL THRU */
1334         /* Read last kernel messages */
1335         case SYSLOG_ACTION_READ_ALL:
1336                 error = -EINVAL;
1337                 if (!buf || len < 0)
1338                         goto out;
1339                 error = 0;
1340                 if (!len)
1341                         goto out;
1342                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1343                         error = -EFAULT;
1344                         goto out;
1345                 }
1346                 error = syslog_print_all(buf, len, clear);
1347                 break;
1348         /* Clear ring buffer */
1349         case SYSLOG_ACTION_CLEAR:
1350                 syslog_print_all(NULL, 0, true);
1351                 break;
1352         /* Disable logging to console */
1353         case SYSLOG_ACTION_CONSOLE_OFF:
1354                 if (saved_console_loglevel == LOGLEVEL_DEFAULT)
1355                         saved_console_loglevel = console_loglevel;
1356                 console_loglevel = minimum_console_loglevel;
1357                 break;
1358         /* Enable logging to console */
1359         case SYSLOG_ACTION_CONSOLE_ON:
1360                 if (saved_console_loglevel != LOGLEVEL_DEFAULT) {
1361                         console_loglevel = saved_console_loglevel;
1362                         saved_console_loglevel = LOGLEVEL_DEFAULT;
1363                 }
1364                 break;
1365         /* Set level of messages printed to console */
1366         case SYSLOG_ACTION_CONSOLE_LEVEL:
1367                 error = -EINVAL;
1368                 if (len < 1 || len > 8)
1369                         goto out;
1370                 if (len < minimum_console_loglevel)
1371                         len = minimum_console_loglevel;
1372                 console_loglevel = len;
1373                 /* Implicitly re-enable logging to console */
1374                 saved_console_loglevel = LOGLEVEL_DEFAULT;
1375                 error = 0;
1376                 break;
1377         /* Number of chars in the log buffer */
1378         case SYSLOG_ACTION_SIZE_UNREAD:
1379                 raw_spin_lock_irq(&logbuf_lock);
1380                 if (syslog_seq < log_first_seq) {
1381                         /* messages are gone, move to first one */
1382                         syslog_seq = log_first_seq;
1383                         syslog_idx = log_first_idx;
1384                         syslog_prev = 0;
1385                         syslog_partial = 0;
1386                 }
1387                 if (source == SYSLOG_FROM_PROC) {
1388                         /*
1389                          * Short-cut for poll(/"proc/kmsg") which simply checks
1390                          * for pending data, not the size; return the count of
1391                          * records, not the length.
1392                          */
1393                         error = log_next_seq - syslog_seq;
1394                 } else {
1395                         u64 seq = syslog_seq;
1396                         u32 idx = syslog_idx;
1397                         enum log_flags prev = syslog_prev;
1398
1399                         error = 0;
1400                         while (seq < log_next_seq) {
1401                                 struct printk_log *msg = log_from_idx(idx);
1402
1403                                 error += msg_print_text(msg, prev, true, NULL, 0);
1404                                 idx = log_next(idx);
1405                                 seq++;
1406                                 prev = msg->flags;
1407                         }
1408                         error -= syslog_partial;
1409                 }
1410                 raw_spin_unlock_irq(&logbuf_lock);
1411                 break;
1412         /* Size of the log buffer */
1413         case SYSLOG_ACTION_SIZE_BUFFER:
1414                 error = log_buf_len;
1415                 break;
1416         default:
1417                 error = -EINVAL;
1418                 break;
1419         }
1420 out:
1421         return error;
1422 }
1423
1424 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1425 {
1426         return do_syslog(type, buf, len, SYSLOG_FROM_READER);
1427 }
1428
1429 /*
1430  * Call the console drivers, asking them to write out
1431  * log_buf[start] to log_buf[end - 1].
1432  * The console_lock must be held.
1433  */
1434 static void call_console_drivers(int level,
1435                                  const char *ext_text, size_t ext_len,
1436                                  const char *text, size_t len)
1437 {
1438         struct console *con;
1439
1440         trace_console(text, len);
1441
1442         if (level >= console_loglevel && !ignore_loglevel)
1443                 return;
1444         if (!console_drivers)
1445                 return;
1446
1447         for_each_console(con) {
1448                 if (exclusive_console && con != exclusive_console)
1449                         continue;
1450                 if (!(con->flags & CON_ENABLED))
1451                         continue;
1452                 if (!con->write)
1453                         continue;
1454                 if (!cpu_online(smp_processor_id()) &&
1455                     !(con->flags & CON_ANYTIME))
1456                         continue;
1457                 if (con->flags & CON_EXTENDED)
1458                         con->write(con, ext_text, ext_len);
1459                 else
1460                         con->write(con, text, len);
1461         }
1462 }
1463
1464 /*
1465  * Zap console related locks when oopsing.
1466  * To leave time for slow consoles to print a full oops,
1467  * only zap at most once every 30 seconds.
1468  */
1469 static void zap_locks(void)
1470 {
1471         static unsigned long oops_timestamp;
1472
1473         if (time_after_eq(jiffies, oops_timestamp) &&
1474             !time_after(jiffies, oops_timestamp + 30 * HZ))
1475                 return;
1476
1477         oops_timestamp = jiffies;
1478
1479         debug_locks_off();
1480         /* If a crash is occurring, make sure we can't deadlock */
1481         raw_spin_lock_init(&logbuf_lock);
1482         /* And make sure that we print immediately */
1483         sema_init(&console_sem, 1);
1484 }
1485
1486 /*
1487  * Check if we have any console that is capable of printing while cpu is
1488  * booting or shutting down. Requires console_sem.
1489  */
1490 static int have_callable_console(void)
1491 {
1492         struct console *con;
1493
1494         for_each_console(con)
1495                 if (con->flags & CON_ANYTIME)
1496                         return 1;
1497
1498         return 0;
1499 }
1500
1501 /*
1502  * Can we actually use the console at this time on this cpu?
1503  *
1504  * Console drivers may assume that per-cpu resources have been allocated. So
1505  * unless they're explicitly marked as being able to cope (CON_ANYTIME) don't
1506  * call them until this CPU is officially up.
1507  */
1508 static inline int can_use_console(unsigned int cpu)
1509 {
1510         return cpu_online(cpu) || have_callable_console();
1511 }
1512
1513 /*
1514  * Try to get console ownership to actually show the kernel
1515  * messages from a 'printk'. Return true (and with the
1516  * console_lock held, and 'console_locked' set) if it
1517  * is successful, false otherwise.
1518  */
1519 static int console_trylock_for_printk(void)
1520 {
1521         unsigned int cpu = smp_processor_id();
1522
1523         if (!console_trylock())
1524                 return 0;
1525         /*
1526          * If we can't use the console, we need to release the console
1527          * semaphore by hand to avoid flushing the buffer. We need to hold the
1528          * console semaphore in order to do this test safely.
1529          */
1530         if (!can_use_console(cpu)) {
1531                 console_locked = 0;
1532                 up_console_sem();
1533                 return 0;
1534         }
1535         return 1;
1536 }
1537
1538 int printk_delay_msec __read_mostly;
1539
1540 static inline void printk_delay(void)
1541 {
1542         if (unlikely(printk_delay_msec)) {
1543                 int m = printk_delay_msec;
1544
1545                 while (m--) {
1546                         mdelay(1);
1547                         touch_nmi_watchdog();
1548                 }
1549         }
1550 }
1551
1552 /*
1553  * Continuation lines are buffered, and not committed to the record buffer
1554  * until the line is complete, or a race forces it. The line fragments
1555  * though, are printed immediately to the consoles to ensure everything has
1556  * reached the console in case of a kernel crash.
1557  */
1558 static struct cont {
1559         char buf[LOG_LINE_MAX];
1560         size_t len;                     /* length == 0 means unused buffer */
1561         size_t cons;                    /* bytes written to console */
1562         struct task_struct *owner;      /* task of first print*/
1563         u64 ts_nsec;                    /* time of first print */
1564         u8 level;                       /* log level of first message */
1565         u8 facility;                    /* log facility of first message */
1566         enum log_flags flags;           /* prefix, newline flags */
1567         bool flushed:1;                 /* buffer sealed and committed */
1568 } cont;
1569
1570 static void cont_flush(enum log_flags flags)
1571 {
1572         if (cont.flushed)
1573                 return;
1574         if (cont.len == 0)
1575                 return;
1576
1577         if (cont.cons) {
1578                 /*
1579                  * If a fragment of this line was directly flushed to the
1580                  * console; wait for the console to pick up the rest of the
1581                  * line. LOG_NOCONS suppresses a duplicated output.
1582                  */
1583                 log_store(cont.facility, cont.level, flags | LOG_NOCONS,
1584                           cont.ts_nsec, NULL, 0, cont.buf, cont.len);
1585                 cont.flags = flags;
1586                 cont.flushed = true;
1587         } else {
1588                 /*
1589                  * If no fragment of this line ever reached the console,
1590                  * just submit it to the store and free the buffer.
1591                  */
1592                 log_store(cont.facility, cont.level, flags, 0,
1593                           NULL, 0, cont.buf, cont.len);
1594                 cont.len = 0;
1595         }
1596 }
1597
1598 static bool cont_add(int facility, int level, const char *text, size_t len)
1599 {
1600         if (cont.len && cont.flushed)
1601                 return false;
1602
1603         /*
1604          * If ext consoles are present, flush and skip in-kernel
1605          * continuation.  See nr_ext_console_drivers definition.  Also, if
1606          * the line gets too long, split it up in separate records.
1607          */
1608         if (nr_ext_console_drivers || cont.len + len > sizeof(cont.buf)) {
1609                 cont_flush(LOG_CONT);
1610                 return false;
1611         }
1612
1613         if (!cont.len) {
1614                 cont.facility = facility;
1615                 cont.level = level;
1616                 cont.owner = current;
1617                 cont.ts_nsec = local_clock();
1618                 cont.flags = 0;
1619                 cont.cons = 0;
1620                 cont.flushed = false;
1621         }
1622
1623         memcpy(cont.buf + cont.len, text, len);
1624         cont.len += len;
1625
1626         if (cont.len > (sizeof(cont.buf) * 80) / 100)
1627                 cont_flush(LOG_CONT);
1628
1629         return true;
1630 }
1631
1632 static size_t cont_print_text(char *text, size_t size)
1633 {
1634         size_t textlen = 0;
1635         size_t len;
1636
1637         if (cont.cons == 0 && (console_prev & LOG_NEWLINE)) {
1638                 textlen += print_time(cont.ts_nsec, text);
1639                 size -= textlen;
1640         }
1641
1642         len = cont.len - cont.cons;
1643         if (len > 0) {
1644                 if (len+1 > size)
1645                         len = size-1;
1646                 memcpy(text + textlen, cont.buf + cont.cons, len);
1647                 textlen += len;
1648                 cont.cons = cont.len;
1649         }
1650
1651         if (cont.flushed) {
1652                 if (cont.flags & LOG_NEWLINE)
1653                         text[textlen++] = '\n';
1654                 /* got everything, release buffer */
1655                 cont.len = 0;
1656         }
1657         return textlen;
1658 }
1659
1660 asmlinkage int vprintk_emit(int facility, int level,
1661                             const char *dict, size_t dictlen,
1662                             const char *fmt, va_list args)
1663 {
1664         static bool recursion_bug;
1665         static char textbuf[LOG_LINE_MAX];
1666         char *text = textbuf;
1667         size_t text_len = 0;
1668         enum log_flags lflags = 0;
1669         unsigned long flags;
1670         int this_cpu;
1671         int printed_len = 0;
1672         bool in_sched = false;
1673         /* cpu currently holding logbuf_lock in this function */
1674         static unsigned int logbuf_cpu = UINT_MAX;
1675
1676         if (level == LOGLEVEL_SCHED) {
1677                 level = LOGLEVEL_DEFAULT;
1678                 in_sched = true;
1679         }
1680
1681         boot_delay_msec(level);
1682         printk_delay();
1683
1684         /* This stops the holder of console_sem just where we want him */
1685         local_irq_save(flags);
1686         this_cpu = smp_processor_id();
1687
1688         /*
1689          * Ouch, printk recursed into itself!
1690          */
1691         if (unlikely(logbuf_cpu == this_cpu)) {
1692                 /*
1693                  * If a crash is occurring during printk() on this CPU,
1694                  * then try to get the crash message out but make sure
1695                  * we can't deadlock. Otherwise just return to avoid the
1696                  * recursion and return - but flag the recursion so that
1697                  * it can be printed at the next appropriate moment:
1698                  */
1699                 if (!oops_in_progress && !lockdep_recursing(current)) {
1700                         recursion_bug = true;
1701                         local_irq_restore(flags);
1702                         return 0;
1703                 }
1704                 zap_locks();
1705         }
1706
1707         lockdep_off();
1708         raw_spin_lock(&logbuf_lock);
1709         logbuf_cpu = this_cpu;
1710
1711         if (unlikely(recursion_bug)) {
1712                 static const char recursion_msg[] =
1713                         "BUG: recent printk recursion!";
1714
1715                 recursion_bug = false;
1716                 /* emit KERN_CRIT message */
1717                 printed_len += log_store(0, 2, LOG_PREFIX|LOG_NEWLINE, 0,
1718                                          NULL, 0, recursion_msg,
1719                                          strlen(recursion_msg));
1720         }
1721
1722         /*
1723          * The printf needs to come first; we need the syslog
1724          * prefix which might be passed-in as a parameter.
1725          */
1726         text_len = vscnprintf(text, sizeof(textbuf), fmt, args);
1727
1728         /* mark and strip a trailing newline */
1729         if (text_len && text[text_len-1] == '\n') {
1730                 text_len--;
1731                 lflags |= LOG_NEWLINE;
1732         }
1733
1734         /* strip kernel syslog prefix and extract log level or control flags */
1735         if (facility == 0) {
1736                 int kern_level = printk_get_level(text);
1737
1738                 if (kern_level) {
1739                         const char *end_of_header = printk_skip_level(text);
1740                         switch (kern_level) {
1741                         case '0' ... '7':
1742                                 if (level == LOGLEVEL_DEFAULT)
1743                                         level = kern_level - '0';
1744                                 /* fallthrough */
1745                         case 'd':       /* KERN_DEFAULT */
1746                                 lflags |= LOG_PREFIX;
1747                         }
1748                         /*
1749                          * No need to check length here because vscnprintf
1750                          * put '\0' at the end of the string. Only valid and
1751                          * newly printed level is detected.
1752                          */
1753                         text_len -= end_of_header - text;
1754                         text = (char *)end_of_header;
1755                 }
1756         }
1757
1758         if (level == LOGLEVEL_DEFAULT)
1759                 level = default_message_loglevel;
1760
1761         if (dict)
1762                 lflags |= LOG_PREFIX|LOG_NEWLINE;
1763
1764         if (!(lflags & LOG_NEWLINE)) {
1765                 /*
1766                  * Flush the conflicting buffer. An earlier newline was missing,
1767                  * or another task also prints continuation lines.
1768                  */
1769                 if (cont.len && (lflags & LOG_PREFIX || cont.owner != current))
1770                         cont_flush(LOG_NEWLINE);
1771
1772                 /* buffer line if possible, otherwise store it right away */
1773                 if (cont_add(facility, level, text, text_len))
1774                         printed_len += text_len;
1775                 else
1776                         printed_len += log_store(facility, level,
1777                                                  lflags | LOG_CONT, 0,
1778                                                  dict, dictlen, text, text_len);
1779         } else {
1780                 bool stored = false;
1781
1782                 /*
1783                  * If an earlier newline was missing and it was the same task,
1784                  * either merge it with the current buffer and flush, or if
1785                  * there was a race with interrupts (prefix == true) then just
1786                  * flush it out and store this line separately.
1787                  * If the preceding printk was from a different task and missed
1788                  * a newline, flush and append the newline.
1789                  */
1790                 if (cont.len) {
1791                         if (cont.owner == current && !(lflags & LOG_PREFIX))
1792                                 stored = cont_add(facility, level, text,
1793                                                   text_len);
1794                         cont_flush(LOG_NEWLINE);
1795                 }
1796
1797                 if (stored)
1798                         printed_len += text_len;
1799                 else
1800                         printed_len += log_store(facility, level, lflags, 0,
1801                                                  dict, dictlen, text, text_len);
1802         }
1803
1804         logbuf_cpu = UINT_MAX;
1805         raw_spin_unlock(&logbuf_lock);
1806         lockdep_on();
1807         local_irq_restore(flags);
1808
1809         /* If called from the scheduler, we can not call up(). */
1810         if (!in_sched) {
1811                 lockdep_off();
1812                 /*
1813                  * Disable preemption to avoid being preempted while holding
1814                  * console_sem which would prevent anyone from printing to
1815                  * console
1816                  */
1817                 preempt_disable();
1818
1819                 /*
1820                  * Try to acquire and then immediately release the console
1821                  * semaphore.  The release will print out buffers and wake up
1822                  * /dev/kmsg and syslog() users.
1823                  */
1824                 if (console_trylock_for_printk())
1825                         console_unlock();
1826                 preempt_enable();
1827                 lockdep_on();
1828         }
1829
1830         return printed_len;
1831 }
1832 EXPORT_SYMBOL(vprintk_emit);
1833
1834 asmlinkage int vprintk(const char *fmt, va_list args)
1835 {
1836         return vprintk_emit(0, LOGLEVEL_DEFAULT, NULL, 0, fmt, args);
1837 }
1838 EXPORT_SYMBOL(vprintk);
1839
1840 asmlinkage int printk_emit(int facility, int level,
1841                            const char *dict, size_t dictlen,
1842                            const char *fmt, ...)
1843 {
1844         va_list args;
1845         int r;
1846
1847         va_start(args, fmt);
1848         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1849         va_end(args);
1850
1851         return r;
1852 }
1853 EXPORT_SYMBOL(printk_emit);
1854
1855 int vprintk_default(const char *fmt, va_list args)
1856 {
1857         int r;
1858
1859 #ifdef CONFIG_KGDB_KDB
1860         if (unlikely(kdb_trap_printk)) {
1861                 r = vkdb_printf(KDB_MSGSRC_PRINTK, fmt, args);
1862                 return r;
1863         }
1864 #endif
1865         r = vprintk_emit(0, LOGLEVEL_DEFAULT, NULL, 0, fmt, args);
1866
1867         return r;
1868 }
1869 EXPORT_SYMBOL_GPL(vprintk_default);
1870
1871 /*
1872  * This allows printk to be diverted to another function per cpu.
1873  * This is useful for calling printk functions from within NMI
1874  * without worrying about race conditions that can lock up the
1875  * box.
1876  */
1877 DEFINE_PER_CPU(printk_func_t, printk_func) = vprintk_default;
1878
1879 /**
1880  * printk - print a kernel message
1881  * @fmt: format string
1882  *
1883  * This is printk(). It can be called from any context. We want it to work.
1884  *
1885  * We try to grab the console_lock. If we succeed, it's easy - we log the
1886  * output and call the console drivers.  If we fail to get the semaphore, we
1887  * place the output into the log buffer and return. The current holder of
1888  * the console_sem will notice the new output in console_unlock(); and will
1889  * send it to the consoles before releasing the lock.
1890  *
1891  * One effect of this deferred printing is that code which calls printk() and
1892  * then changes console_loglevel may break. This is because console_loglevel
1893  * is inspected when the actual printing occurs.
1894  *
1895  * See also:
1896  * printf(3)
1897  *
1898  * See the vsnprintf() documentation for format string extensions over C99.
1899  */
1900 asmlinkage __visible int printk(const char *fmt, ...)
1901 {
1902         printk_func_t vprintk_func;
1903         va_list args;
1904         int r;
1905
1906         va_start(args, fmt);
1907
1908         /*
1909          * If a caller overrides the per_cpu printk_func, then it needs
1910          * to disable preemption when calling printk(). Otherwise
1911          * the printk_func should be set to the default. No need to
1912          * disable preemption here.
1913          */
1914         vprintk_func = this_cpu_read(printk_func);
1915         r = vprintk_func(fmt, args);
1916
1917         va_end(args);
1918
1919         return r;
1920 }
1921 EXPORT_SYMBOL(printk);
1922
1923 #else /* CONFIG_PRINTK */
1924
1925 #define LOG_LINE_MAX            0
1926 #define PREFIX_MAX              0
1927
1928 static u64 syslog_seq;
1929 static u32 syslog_idx;
1930 static u64 console_seq;
1931 static u32 console_idx;
1932 static enum log_flags syslog_prev;
1933 static u64 log_first_seq;
1934 static u32 log_first_idx;
1935 static u64 log_next_seq;
1936 static enum log_flags console_prev;
1937 static struct cont {
1938         size_t len;
1939         size_t cons;
1940         u8 level;
1941         bool flushed:1;
1942 } cont;
1943 static char *log_text(const struct printk_log *msg) { return NULL; }
1944 static char *log_dict(const struct printk_log *msg) { return NULL; }
1945 static struct printk_log *log_from_idx(u32 idx) { return NULL; }
1946 static u32 log_next(u32 idx) { return 0; }
1947 static ssize_t msg_print_ext_header(char *buf, size_t size,
1948                                     struct printk_log *msg, u64 seq,
1949                                     enum log_flags prev_flags) { return 0; }
1950 static ssize_t msg_print_ext_body(char *buf, size_t size,
1951                                   char *dict, size_t dict_len,
1952                                   char *text, size_t text_len) { return 0; }
1953 static void call_console_drivers(int level,
1954                                  const char *ext_text, size_t ext_len,
1955                                  const char *text, size_t len) {}
1956 static size_t msg_print_text(const struct printk_log *msg, enum log_flags prev,
1957                              bool syslog, char *buf, size_t size) { return 0; }
1958 static size_t cont_print_text(char *text, size_t size) { return 0; }
1959
1960 /* Still needs to be defined for users */
1961 DEFINE_PER_CPU(printk_func_t, printk_func);
1962
1963 #endif /* CONFIG_PRINTK */
1964
1965 #ifdef CONFIG_EARLY_PRINTK
1966 struct console *early_console;
1967
1968 asmlinkage __visible void early_printk(const char *fmt, ...)
1969 {
1970         va_list ap;
1971         char buf[512];
1972         int n;
1973
1974         if (!early_console)
1975                 return;
1976
1977         va_start(ap, fmt);
1978         n = vscnprintf(buf, sizeof(buf), fmt, ap);
1979         va_end(ap);
1980
1981         early_console->write(early_console, buf, n);
1982 }
1983 #endif
1984
1985 static int __add_preferred_console(char *name, int idx, char *options,
1986                                    char *brl_options)
1987 {
1988         struct console_cmdline *c;
1989         int i;
1990
1991         /*
1992          *      See if this tty is not yet registered, and
1993          *      if we have a slot free.
1994          */
1995         for (i = 0, c = console_cmdline;
1996              i < MAX_CMDLINECONSOLES && c->name[0];
1997              i++, c++) {
1998                 if (strcmp(c->name, name) == 0 && c->index == idx) {
1999                         if (!brl_options)
2000                                 selected_console = i;
2001                         return 0;
2002                 }
2003         }
2004         if (i == MAX_CMDLINECONSOLES)
2005                 return -E2BIG;
2006         if (!brl_options)
2007                 selected_console = i;
2008         strlcpy(c->name, name, sizeof(c->name));
2009         c->options = options;
2010         braille_set_options(c, brl_options);
2011
2012         c->index = idx;
2013         return 0;
2014 }
2015 /*
2016  * Set up a console.  Called via do_early_param() in init/main.c
2017  * for each "console=" parameter in the boot command line.
2018  */
2019 static int __init console_setup(char *str)
2020 {
2021         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for "ttyS" */
2022         char *s, *options, *brl_options = NULL;
2023         int idx;
2024
2025         if (_braille_console_setup(&str, &brl_options))
2026                 return 1;
2027
2028         /*
2029          * Decode str into name, index, options.
2030          */
2031         if (str[0] >= '0' && str[0] <= '9') {
2032                 strcpy(buf, "ttyS");
2033                 strncpy(buf + 4, str, sizeof(buf) - 5);
2034         } else {
2035                 strncpy(buf, str, sizeof(buf) - 1);
2036         }
2037         buf[sizeof(buf) - 1] = 0;
2038         options = strchr(str, ',');
2039         if (options)
2040                 *(options++) = 0;
2041 #ifdef __sparc__
2042         if (!strcmp(str, "ttya"))
2043                 strcpy(buf, "ttyS0");
2044         if (!strcmp(str, "ttyb"))
2045                 strcpy(buf, "ttyS1");
2046 #endif
2047         for (s = buf; *s; s++)
2048                 if (isdigit(*s) || *s == ',')
2049                         break;
2050         idx = simple_strtoul(s, NULL, 10);
2051         *s = 0;
2052
2053         __add_preferred_console(buf, idx, options, brl_options);
2054         console_set_on_cmdline = 1;
2055         return 1;
2056 }
2057 __setup("console=", console_setup);
2058
2059 /**
2060  * add_preferred_console - add a device to the list of preferred consoles.
2061  * @name: device name
2062  * @idx: device index
2063  * @options: options for this console
2064  *
2065  * The last preferred console added will be used for kernel messages
2066  * and stdin/out/err for init.  Normally this is used by console_setup
2067  * above to handle user-supplied console arguments; however it can also
2068  * be used by arch-specific code either to override the user or more
2069  * commonly to provide a default console (ie from PROM variables) when
2070  * the user has not supplied one.
2071  */
2072 int add_preferred_console(char *name, int idx, char *options)
2073 {
2074         return __add_preferred_console(name, idx, options, NULL);
2075 }
2076
2077 bool console_suspend_enabled = true;
2078 EXPORT_SYMBOL(console_suspend_enabled);
2079
2080 static int __init console_suspend_disable(char *str)
2081 {
2082         console_suspend_enabled = false;
2083         return 1;
2084 }
2085 __setup("no_console_suspend", console_suspend_disable);
2086 module_param_named(console_suspend, console_suspend_enabled,
2087                 bool, S_IRUGO | S_IWUSR);
2088 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
2089         " and hibernate operations");
2090
2091 /**
2092  * suspend_console - suspend the console subsystem
2093  *
2094  * This disables printk() while we go into suspend states
2095  */
2096 void suspend_console(void)
2097 {
2098         if (!console_suspend_enabled)
2099                 return;
2100         printk("Suspending console(s) (use no_console_suspend to debug)\n");
2101         console_lock();
2102         console_suspended = 1;
2103         up_console_sem();
2104 }
2105
2106 void resume_console(void)
2107 {
2108         if (!console_suspend_enabled)
2109                 return;
2110         down_console_sem();
2111         console_suspended = 0;
2112         console_unlock();
2113 }
2114
2115 /**
2116  * console_cpu_notify - print deferred console messages after CPU hotplug
2117  * @self: notifier struct
2118  * @action: CPU hotplug event
2119  * @hcpu: unused
2120  *
2121  * If printk() is called from a CPU that is not online yet, the messages
2122  * will be spooled but will not show up on the console.  This function is
2123  * called when a new CPU comes online (or fails to come up), and ensures
2124  * that any such output gets printed.
2125  */
2126 static int console_cpu_notify(struct notifier_block *self,
2127         unsigned long action, void *hcpu)
2128 {
2129         switch (action) {
2130         case CPU_ONLINE:
2131         case CPU_DEAD:
2132         case CPU_DOWN_FAILED:
2133         case CPU_UP_CANCELED:
2134                 console_lock();
2135                 console_unlock();
2136         }
2137         return NOTIFY_OK;
2138 }
2139
2140 /**
2141  * console_lock - lock the console system for exclusive use.
2142  *
2143  * Acquires a lock which guarantees that the caller has
2144  * exclusive access to the console system and the console_drivers list.
2145  *
2146  * Can sleep, returns nothing.
2147  */
2148 void console_lock(void)
2149 {
2150         might_sleep();
2151
2152         down_console_sem();
2153         if (console_suspended)
2154                 return;
2155         console_locked = 1;
2156         console_may_schedule = 1;
2157 }
2158 EXPORT_SYMBOL(console_lock);
2159
2160 /**
2161  * console_trylock - try to lock the console system for exclusive use.
2162  *
2163  * Try to acquire a lock which guarantees that the caller has exclusive
2164  * access to the console system and the console_drivers list.
2165  *
2166  * returns 1 on success, and 0 on failure to acquire the lock.
2167  */
2168 int console_trylock(void)
2169 {
2170         if (down_trylock_console_sem())
2171                 return 0;
2172         if (console_suspended) {
2173                 up_console_sem();
2174                 return 0;
2175         }
2176         console_locked = 1;
2177         console_may_schedule = 0;
2178         return 1;
2179 }
2180 EXPORT_SYMBOL(console_trylock);
2181
2182 int is_console_locked(void)
2183 {
2184         return console_locked;
2185 }
2186
2187 static void console_cont_flush(char *text, size_t size)
2188 {
2189         unsigned long flags;
2190         size_t len;
2191
2192         raw_spin_lock_irqsave(&logbuf_lock, flags);
2193
2194         if (!cont.len)
2195                 goto out;
2196
2197         /*
2198          * We still queue earlier records, likely because the console was
2199          * busy. The earlier ones need to be printed before this one, we
2200          * did not flush any fragment so far, so just let it queue up.
2201          */
2202         if (console_seq < log_next_seq && !cont.cons)
2203                 goto out;
2204
2205         len = cont_print_text(text, size);
2206         raw_spin_unlock(&logbuf_lock);
2207         stop_critical_timings();
2208         call_console_drivers(cont.level, NULL, 0, text, len);
2209         start_critical_timings();
2210         local_irq_restore(flags);
2211         return;
2212 out:
2213         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2214 }
2215
2216 /**
2217  * console_unlock - unlock the console system
2218  *
2219  * Releases the console_lock which the caller holds on the console system
2220  * and the console driver list.
2221  *
2222  * While the console_lock was held, console output may have been buffered
2223  * by printk().  If this is the case, console_unlock(); emits
2224  * the output prior to releasing the lock.
2225  *
2226  * If there is output waiting, we wake /dev/kmsg and syslog() users.
2227  *
2228  * console_unlock(); may be called from any context.
2229  */
2230 void console_unlock(void)
2231 {
2232         static char ext_text[CONSOLE_EXT_LOG_MAX];
2233         static char text[LOG_LINE_MAX + PREFIX_MAX];
2234         static u64 seen_seq;
2235         unsigned long flags;
2236         bool wake_klogd = false;
2237         bool do_cond_resched, retry;
2238
2239         if (console_suspended) {
2240                 up_console_sem();
2241                 return;
2242         }
2243
2244         /*
2245          * Console drivers are called under logbuf_lock, so
2246          * @console_may_schedule should be cleared before; however, we may
2247          * end up dumping a lot of lines, for example, if called from
2248          * console registration path, and should invoke cond_resched()
2249          * between lines if allowable.  Not doing so can cause a very long
2250          * scheduling stall on a slow console leading to RCU stall and
2251          * softlockup warnings which exacerbate the issue with more
2252          * messages practically incapacitating the system.
2253          */
2254         do_cond_resched = console_may_schedule;
2255         console_may_schedule = 0;
2256
2257         /* flush buffered message fragment immediately to console */
2258         console_cont_flush(text, sizeof(text));
2259 again:
2260         for (;;) {
2261                 struct printk_log *msg;
2262                 size_t ext_len = 0;
2263                 size_t len;
2264                 int level;
2265
2266                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2267                 if (seen_seq != log_next_seq) {
2268                         wake_klogd = true;
2269                         seen_seq = log_next_seq;
2270                 }
2271
2272                 if (console_seq < log_first_seq) {
2273                         len = sprintf(text, "** %u printk messages dropped ** ",
2274                                       (unsigned)(log_first_seq - console_seq));
2275
2276                         /* messages are gone, move to first one */
2277                         console_seq = log_first_seq;
2278                         console_idx = log_first_idx;
2279                         console_prev = 0;
2280                 } else {
2281                         len = 0;
2282                 }
2283 skip:
2284                 if (console_seq == log_next_seq)
2285                         break;
2286
2287                 msg = log_from_idx(console_idx);
2288                 if (msg->flags & LOG_NOCONS) {
2289                         /*
2290                          * Skip record we have buffered and already printed
2291                          * directly to the console when we received it.
2292                          */
2293                         console_idx = log_next(console_idx);
2294                         console_seq++;
2295                         /*
2296                          * We will get here again when we register a new
2297                          * CON_PRINTBUFFER console. Clear the flag so we
2298                          * will properly dump everything later.
2299                          */
2300                         msg->flags &= ~LOG_NOCONS;
2301                         console_prev = msg->flags;
2302                         goto skip;
2303                 }
2304
2305                 level = msg->level;
2306                 len += msg_print_text(msg, console_prev, false,
2307                                       text + len, sizeof(text) - len);
2308                 if (nr_ext_console_drivers) {
2309                         ext_len = msg_print_ext_header(ext_text,
2310                                                 sizeof(ext_text),
2311                                                 msg, console_seq, console_prev);
2312                         ext_len += msg_print_ext_body(ext_text + ext_len,
2313                                                 sizeof(ext_text) - ext_len,
2314                                                 log_dict(msg), msg->dict_len,
2315                                                 log_text(msg), msg->text_len);
2316                 }
2317                 console_idx = log_next(console_idx);
2318                 console_seq++;
2319                 console_prev = msg->flags;
2320                 raw_spin_unlock(&logbuf_lock);
2321
2322                 stop_critical_timings();        /* don't trace print latency */
2323                 call_console_drivers(level, ext_text, ext_len, text, len);
2324                 start_critical_timings();
2325                 local_irq_restore(flags);
2326
2327                 if (do_cond_resched)
2328                         cond_resched();
2329         }
2330         console_locked = 0;
2331
2332         /* Release the exclusive_console once it is used */
2333         if (unlikely(exclusive_console))
2334                 exclusive_console = NULL;
2335
2336         raw_spin_unlock(&logbuf_lock);
2337
2338         up_console_sem();
2339
2340         /*
2341          * Someone could have filled up the buffer again, so re-check if there's
2342          * something to flush. In case we cannot trylock the console_sem again,
2343          * there's a new owner and the console_unlock() from them will do the
2344          * flush, no worries.
2345          */
2346         raw_spin_lock(&logbuf_lock);
2347         retry = console_seq != log_next_seq;
2348         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2349
2350         if (retry && console_trylock())
2351                 goto again;
2352
2353         if (wake_klogd)
2354                 wake_up_klogd();
2355 }
2356 EXPORT_SYMBOL(console_unlock);
2357
2358 /**
2359  * console_conditional_schedule - yield the CPU if required
2360  *
2361  * If the console code is currently allowed to sleep, and
2362  * if this CPU should yield the CPU to another task, do
2363  * so here.
2364  *
2365  * Must be called within console_lock();.
2366  */
2367 void __sched console_conditional_schedule(void)
2368 {
2369         if (console_may_schedule)
2370                 cond_resched();
2371 }
2372 EXPORT_SYMBOL(console_conditional_schedule);
2373
2374 void console_unblank(void)
2375 {
2376         struct console *c;
2377
2378         /*
2379          * console_unblank can no longer be called in interrupt context unless
2380          * oops_in_progress is set to 1..
2381          */
2382         if (oops_in_progress) {
2383                 if (down_trylock_console_sem() != 0)
2384                         return;
2385         } else
2386                 console_lock();
2387
2388         console_locked = 1;
2389         console_may_schedule = 0;
2390         for_each_console(c)
2391                 if ((c->flags & CON_ENABLED) && c->unblank)
2392                         c->unblank();
2393         console_unlock();
2394 }
2395
2396 /**
2397  * console_flush_on_panic - flush console content on panic
2398  *
2399  * Immediately output all pending messages no matter what.
2400  */
2401 void console_flush_on_panic(void)
2402 {
2403         /*
2404          * If someone else is holding the console lock, trylock will fail
2405          * and may_schedule may be set.  Ignore and proceed to unlock so
2406          * that messages are flushed out.  As this can be called from any
2407          * context and we don't want to get preempted while flushing,
2408          * ensure may_schedule is cleared.
2409          */
2410         console_trylock();
2411         console_may_schedule = 0;
2412         console_unlock();
2413 }
2414
2415 /*
2416  * Return the console tty driver structure and its associated index
2417  */
2418 struct tty_driver *console_device(int *index)
2419 {
2420         struct console *c;
2421         struct tty_driver *driver = NULL;
2422
2423         console_lock();
2424         for_each_console(c) {
2425                 if (!c->device)
2426                         continue;
2427                 driver = c->device(c, index);
2428                 if (driver)
2429                         break;
2430         }
2431         console_unlock();
2432         return driver;
2433 }
2434
2435 /*
2436  * Prevent further output on the passed console device so that (for example)
2437  * serial drivers can disable console output before suspending a port, and can
2438  * re-enable output afterwards.
2439  */
2440 void console_stop(struct console *console)
2441 {
2442         console_lock();
2443         console->flags &= ~CON_ENABLED;
2444         console_unlock();
2445 }
2446 EXPORT_SYMBOL(console_stop);
2447
2448 void console_start(struct console *console)
2449 {
2450         console_lock();
2451         console->flags |= CON_ENABLED;
2452         console_unlock();
2453 }
2454 EXPORT_SYMBOL(console_start);
2455
2456 static int __read_mostly keep_bootcon;
2457
2458 static int __init keep_bootcon_setup(char *str)
2459 {
2460         keep_bootcon = 1;
2461         pr_info("debug: skip boot console de-registration.\n");
2462
2463         return 0;
2464 }
2465
2466 early_param("keep_bootcon", keep_bootcon_setup);
2467
2468 /*
2469  * The console driver calls this routine during kernel initialization
2470  * to register the console printing procedure with printk() and to
2471  * print any messages that were printed by the kernel before the
2472  * console driver was initialized.
2473  *
2474  * This can happen pretty early during the boot process (because of
2475  * early_printk) - sometimes before setup_arch() completes - be careful
2476  * of what kernel features are used - they may not be initialised yet.
2477  *
2478  * There are two types of consoles - bootconsoles (early_printk) and
2479  * "real" consoles (everything which is not a bootconsole) which are
2480  * handled differently.
2481  *  - Any number of bootconsoles can be registered at any time.
2482  *  - As soon as a "real" console is registered, all bootconsoles
2483  *    will be unregistered automatically.
2484  *  - Once a "real" console is registered, any attempt to register a
2485  *    bootconsoles will be rejected
2486  */
2487 void register_console(struct console *newcon)
2488 {
2489         int i;
2490         unsigned long flags;
2491         struct console *bcon = NULL;
2492         struct console_cmdline *c;
2493
2494         if (console_drivers)
2495                 for_each_console(bcon)
2496                         if (WARN(bcon == newcon,
2497                                         "console '%s%d' already registered\n",
2498                                         bcon->name, bcon->index))
2499                                 return;
2500
2501         /*
2502          * before we register a new CON_BOOT console, make sure we don't
2503          * already have a valid console
2504          */
2505         if (console_drivers && newcon->flags & CON_BOOT) {
2506                 /* find the last or real console */
2507                 for_each_console(bcon) {
2508                         if (!(bcon->flags & CON_BOOT)) {
2509                                 pr_info("Too late to register bootconsole %s%d\n",
2510                                         newcon->name, newcon->index);
2511                                 return;
2512                         }
2513                 }
2514         }
2515
2516         if (console_drivers && console_drivers->flags & CON_BOOT)
2517                 bcon = console_drivers;
2518
2519         if (preferred_console < 0 || bcon || !console_drivers)
2520                 preferred_console = selected_console;
2521
2522         /*
2523          *      See if we want to use this console driver. If we
2524          *      didn't select a console we take the first one
2525          *      that registers here.
2526          */
2527         if (preferred_console < 0) {
2528                 if (newcon->index < 0)
2529                         newcon->index = 0;
2530                 if (newcon->setup == NULL ||
2531                     newcon->setup(newcon, NULL) == 0) {
2532                         newcon->flags |= CON_ENABLED;
2533                         if (newcon->device) {
2534                                 newcon->flags |= CON_CONSDEV;
2535                                 preferred_console = 0;
2536                         }
2537                 }
2538         }
2539
2540         /*
2541          *      See if this console matches one we selected on
2542          *      the command line.
2543          */
2544         for (i = 0, c = console_cmdline;
2545              i < MAX_CMDLINECONSOLES && c->name[0];
2546              i++, c++) {
2547                 if (!newcon->match ||
2548                     newcon->match(newcon, c->name, c->index, c->options) != 0) {
2549                         /* default matching */
2550                         BUILD_BUG_ON(sizeof(c->name) != sizeof(newcon->name));
2551                         if (strcmp(c->name, newcon->name) != 0)
2552                                 continue;
2553                         if (newcon->index >= 0 &&
2554                             newcon->index != c->index)
2555                                 continue;
2556                         if (newcon->index < 0)
2557                                 newcon->index = c->index;
2558
2559                         if (_braille_register_console(newcon, c))
2560                                 return;
2561
2562                         if (newcon->setup &&
2563                             newcon->setup(newcon, c->options) != 0)
2564                                 break;
2565                 }
2566
2567                 newcon->flags |= CON_ENABLED;
2568                 if (i == selected_console) {
2569                         newcon->flags |= CON_CONSDEV;
2570                         preferred_console = selected_console;
2571                 }
2572                 break;
2573         }
2574
2575         if (!(newcon->flags & CON_ENABLED))
2576                 return;
2577
2578         /*
2579          * If we have a bootconsole, and are switching to a real console,
2580          * don't print everything out again, since when the boot console, and
2581          * the real console are the same physical device, it's annoying to
2582          * see the beginning boot messages twice
2583          */
2584         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2585                 newcon->flags &= ~CON_PRINTBUFFER;
2586
2587         /*
2588          *      Put this console in the list - keep the
2589          *      preferred driver at the head of the list.
2590          */
2591         console_lock();
2592         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2593                 newcon->next = console_drivers;
2594                 console_drivers = newcon;
2595                 if (newcon->next)
2596                         newcon->next->flags &= ~CON_CONSDEV;
2597         } else {
2598                 newcon->next = console_drivers->next;
2599                 console_drivers->next = newcon;
2600         }
2601
2602         if (newcon->flags & CON_EXTENDED)
2603                 if (!nr_ext_console_drivers++)
2604                         pr_info("printk: continuation disabled due to ext consoles, expect more fragments in /dev/kmsg\n");
2605
2606         if (newcon->flags & CON_PRINTBUFFER) {
2607                 /*
2608                  * console_unlock(); will print out the buffered messages
2609                  * for us.
2610                  */
2611                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2612                 console_seq = syslog_seq;
2613                 console_idx = syslog_idx;
2614                 console_prev = syslog_prev;
2615                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2616                 /*
2617                  * We're about to replay the log buffer.  Only do this to the
2618                  * just-registered console to avoid excessive message spam to
2619                  * the already-registered consoles.
2620                  */
2621                 exclusive_console = newcon;
2622         }
2623         console_unlock();
2624         console_sysfs_notify();
2625
2626         /*
2627          * By unregistering the bootconsoles after we enable the real console
2628          * we get the "console xxx enabled" message on all the consoles -
2629          * boot consoles, real consoles, etc - this is to ensure that end
2630          * users know there might be something in the kernel's log buffer that
2631          * went to the bootconsole (that they do not see on the real console)
2632          */
2633         pr_info("%sconsole [%s%d] enabled\n",
2634                 (newcon->flags & CON_BOOT) ? "boot" : "" ,
2635                 newcon->name, newcon->index);
2636         if (bcon &&
2637             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2638             !keep_bootcon) {
2639                 /* We need to iterate through all boot consoles, to make
2640                  * sure we print everything out, before we unregister them.
2641                  */
2642                 for_each_console(bcon)
2643                         if (bcon->flags & CON_BOOT)
2644                                 unregister_console(bcon);
2645         }
2646 }
2647 EXPORT_SYMBOL(register_console);
2648
2649 int unregister_console(struct console *console)
2650 {
2651         struct console *a, *b;
2652         int res;
2653
2654         pr_info("%sconsole [%s%d] disabled\n",
2655                 (console->flags & CON_BOOT) ? "boot" : "" ,
2656                 console->name, console->index);
2657
2658         res = _braille_unregister_console(console);
2659         if (res)
2660                 return res;
2661
2662         res = 1;
2663         console_lock();
2664         if (console_drivers == console) {
2665                 console_drivers=console->next;
2666                 res = 0;
2667         } else if (console_drivers) {
2668                 for (a=console_drivers->next, b=console_drivers ;
2669                      a; b=a, a=b->next) {
2670                         if (a == console) {
2671                                 b->next = a->next;
2672                                 res = 0;
2673                                 break;
2674                         }
2675                 }
2676         }
2677
2678         if (!res && (console->flags & CON_EXTENDED))
2679                 nr_ext_console_drivers--;
2680
2681         /*
2682          * If this isn't the last console and it has CON_CONSDEV set, we
2683          * need to set it on the next preferred console.
2684          */
2685         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2686                 console_drivers->flags |= CON_CONSDEV;
2687
2688         console->flags &= ~CON_ENABLED;
2689         console_unlock();
2690         console_sysfs_notify();
2691         return res;
2692 }
2693 EXPORT_SYMBOL(unregister_console);
2694
2695 /*
2696  * Some boot consoles access data that is in the init section and which will
2697  * be discarded after the initcalls have been run. To make sure that no code
2698  * will access this data, unregister the boot consoles in a late initcall.
2699  *
2700  * If for some reason, such as deferred probe or the driver being a loadable
2701  * module, the real console hasn't registered yet at this point, there will
2702  * be a brief interval in which no messages are logged to the console, which
2703  * makes it difficult to diagnose problems that occur during this time.
2704  *
2705  * To mitigate this problem somewhat, only unregister consoles whose memory
2706  * intersects with the init section. Note that code exists elsewhere to get
2707  * rid of the boot console as soon as the proper console shows up, so there
2708  * won't be side-effects from postponing the removal.
2709  */
2710 static int __init printk_late_init(void)
2711 {
2712         struct console *con;
2713
2714         for_each_console(con) {
2715                 if (!keep_bootcon && con->flags & CON_BOOT) {
2716                         /*
2717                          * Make sure to unregister boot consoles whose data
2718                          * resides in the init section before the init section
2719                          * is discarded. Boot consoles whose data will stick
2720                          * around will automatically be unregistered when the
2721                          * proper console replaces them.
2722                          */
2723                         if (init_section_intersects(con, sizeof(*con)))
2724                                 unregister_console(con);
2725                 }
2726         }
2727         hotcpu_notifier(console_cpu_notify, 0);
2728         return 0;
2729 }
2730 late_initcall(printk_late_init);
2731
2732 #if defined CONFIG_PRINTK
2733 /*
2734  * Delayed printk version, for scheduler-internal messages:
2735  */
2736 #define PRINTK_PENDING_WAKEUP   0x01
2737 #define PRINTK_PENDING_OUTPUT   0x02
2738
2739 static DEFINE_PER_CPU(int, printk_pending);
2740
2741 static void wake_up_klogd_work_func(struct irq_work *irq_work)
2742 {
2743         int pending = __this_cpu_xchg(printk_pending, 0);
2744
2745         if (pending & PRINTK_PENDING_OUTPUT) {
2746                 /* If trylock fails, someone else is doing the printing */
2747                 if (console_trylock())
2748                         console_unlock();
2749         }
2750
2751         if (pending & PRINTK_PENDING_WAKEUP)
2752                 wake_up_interruptible(&log_wait);
2753 }
2754
2755 static DEFINE_PER_CPU(struct irq_work, wake_up_klogd_work) = {
2756         .func = wake_up_klogd_work_func,
2757         .flags = IRQ_WORK_LAZY,
2758 };
2759
2760 void wake_up_klogd(void)
2761 {
2762         preempt_disable();
2763         if (waitqueue_active(&log_wait)) {
2764                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
2765                 irq_work_queue(this_cpu_ptr(&wake_up_klogd_work));
2766         }
2767         preempt_enable();
2768 }
2769
2770 int printk_deferred(const char *fmt, ...)
2771 {
2772         va_list args;
2773         int r;
2774
2775         preempt_disable();
2776         va_start(args, fmt);
2777         r = vprintk_emit(0, LOGLEVEL_SCHED, NULL, 0, fmt, args);
2778         va_end(args);
2779
2780         __this_cpu_or(printk_pending, PRINTK_PENDING_OUTPUT);
2781         irq_work_queue(this_cpu_ptr(&wake_up_klogd_work));
2782         preempt_enable();
2783
2784         return r;
2785 }
2786
2787 /*
2788  * printk rate limiting, lifted from the networking subsystem.
2789  *
2790  * This enforces a rate limit: not more than 10 kernel messages
2791  * every 5s to make a denial-of-service attack impossible.
2792  */
2793 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2794
2795 int __printk_ratelimit(const char *func)
2796 {
2797         return ___ratelimit(&printk_ratelimit_state, func);
2798 }
2799 EXPORT_SYMBOL(__printk_ratelimit);
2800
2801 /**
2802  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2803  * @caller_jiffies: pointer to caller's state
2804  * @interval_msecs: minimum interval between prints
2805  *
2806  * printk_timed_ratelimit() returns true if more than @interval_msecs
2807  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2808  * returned true.
2809  */
2810 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2811                         unsigned int interval_msecs)
2812 {
2813         unsigned long elapsed = jiffies - *caller_jiffies;
2814
2815         if (*caller_jiffies && elapsed <= msecs_to_jiffies(interval_msecs))
2816                 return false;
2817
2818         *caller_jiffies = jiffies;
2819         return true;
2820 }
2821 EXPORT_SYMBOL(printk_timed_ratelimit);
2822
2823 static DEFINE_SPINLOCK(dump_list_lock);
2824 static LIST_HEAD(dump_list);
2825
2826 /**
2827  * kmsg_dump_register - register a kernel log dumper.
2828  * @dumper: pointer to the kmsg_dumper structure
2829  *
2830  * Adds a kernel log dumper to the system. The dump callback in the
2831  * structure will be called when the kernel oopses or panics and must be
2832  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2833  */
2834 int kmsg_dump_register(struct kmsg_dumper *dumper)
2835 {
2836         unsigned long flags;
2837         int err = -EBUSY;
2838
2839         /* The dump callback needs to be set */
2840         if (!dumper->dump)
2841                 return -EINVAL;
2842
2843         spin_lock_irqsave(&dump_list_lock, flags);
2844         /* Don't allow registering multiple times */
2845         if (!dumper->registered) {
2846                 dumper->registered = 1;
2847                 list_add_tail_rcu(&dumper->list, &dump_list);
2848                 err = 0;
2849         }
2850         spin_unlock_irqrestore(&dump_list_lock, flags);
2851
2852         return err;
2853 }
2854 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2855
2856 /**
2857  * kmsg_dump_unregister - unregister a kmsg dumper.
2858  * @dumper: pointer to the kmsg_dumper structure
2859  *
2860  * Removes a dump device from the system. Returns zero on success and
2861  * %-EINVAL otherwise.
2862  */
2863 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2864 {
2865         unsigned long flags;
2866         int err = -EINVAL;
2867
2868         spin_lock_irqsave(&dump_list_lock, flags);
2869         if (dumper->registered) {
2870                 dumper->registered = 0;
2871                 list_del_rcu(&dumper->list);
2872                 err = 0;
2873         }
2874         spin_unlock_irqrestore(&dump_list_lock, flags);
2875         synchronize_rcu();
2876
2877         return err;
2878 }
2879 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2880
2881 static bool always_kmsg_dump;
2882 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2883
2884 /**
2885  * kmsg_dump - dump kernel log to kernel message dumpers.
2886  * @reason: the reason (oops, panic etc) for dumping
2887  *
2888  * Call each of the registered dumper's dump() callback, which can
2889  * retrieve the kmsg records with kmsg_dump_get_line() or
2890  * kmsg_dump_get_buffer().
2891  */
2892 void kmsg_dump(enum kmsg_dump_reason reason)
2893 {
2894         struct kmsg_dumper *dumper;
2895         unsigned long flags;
2896
2897         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2898                 return;
2899
2900         rcu_read_lock();
2901         list_for_each_entry_rcu(dumper, &dump_list, list) {
2902                 if (dumper->max_reason && reason > dumper->max_reason)
2903                         continue;
2904
2905                 /* initialize iterator with data about the stored records */
2906                 dumper->active = true;
2907
2908                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2909                 dumper->cur_seq = clear_seq;
2910                 dumper->cur_idx = clear_idx;
2911                 dumper->next_seq = log_next_seq;
2912                 dumper->next_idx = log_next_idx;
2913                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2914
2915                 /* invoke dumper which will iterate over records */
2916                 dumper->dump(dumper, reason);
2917
2918                 /* reset iterator */
2919                 dumper->active = false;
2920         }
2921         rcu_read_unlock();
2922 }
2923
2924 /**
2925  * kmsg_dump_get_line_nolock - retrieve one kmsg log line (unlocked version)
2926  * @dumper: registered kmsg dumper
2927  * @syslog: include the "<4>" prefixes
2928  * @line: buffer to copy the line to
2929  * @size: maximum size of the buffer
2930  * @len: length of line placed into buffer
2931  *
2932  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2933  * record, and copy one record into the provided buffer.
2934  *
2935  * Consecutive calls will return the next available record moving
2936  * towards the end of the buffer with the youngest messages.
2937  *
2938  * A return value of FALSE indicates that there are no more records to
2939  * read.
2940  *
2941  * The function is similar to kmsg_dump_get_line(), but grabs no locks.
2942  */
2943 bool kmsg_dump_get_line_nolock(struct kmsg_dumper *dumper, bool syslog,
2944                                char *line, size_t size, size_t *len)
2945 {
2946         struct printk_log *msg;
2947         size_t l = 0;
2948         bool ret = false;
2949
2950         if (!dumper->active)
2951                 goto out;
2952
2953         if (dumper->cur_seq < log_first_seq) {
2954                 /* messages are gone, move to first available one */
2955                 dumper->cur_seq = log_first_seq;
2956                 dumper->cur_idx = log_first_idx;
2957         }
2958
2959         /* last entry */
2960         if (dumper->cur_seq >= log_next_seq)
2961                 goto out;
2962
2963         msg = log_from_idx(dumper->cur_idx);
2964         l = msg_print_text(msg, 0, syslog, line, size);
2965
2966         dumper->cur_idx = log_next(dumper->cur_idx);
2967         dumper->cur_seq++;
2968         ret = true;
2969 out:
2970         if (len)
2971                 *len = l;
2972         return ret;
2973 }
2974
2975 /**
2976  * kmsg_dump_get_line - retrieve one kmsg log line
2977  * @dumper: registered kmsg dumper
2978  * @syslog: include the "<4>" prefixes
2979  * @line: buffer to copy the line to
2980  * @size: maximum size of the buffer
2981  * @len: length of line placed into buffer
2982  *
2983  * Start at the beginning of the kmsg buffer, with the oldest kmsg
2984  * record, and copy one record into the provided buffer.
2985  *
2986  * Consecutive calls will return the next available record moving
2987  * towards the end of the buffer with the youngest messages.
2988  *
2989  * A return value of FALSE indicates that there are no more records to
2990  * read.
2991  */
2992 bool kmsg_dump_get_line(struct kmsg_dumper *dumper, bool syslog,
2993                         char *line, size_t size, size_t *len)
2994 {
2995         unsigned long flags;
2996         bool ret;
2997
2998         raw_spin_lock_irqsave(&logbuf_lock, flags);
2999         ret = kmsg_dump_get_line_nolock(dumper, syslog, line, size, len);
3000         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
3001
3002         return ret;
3003 }
3004 EXPORT_SYMBOL_GPL(kmsg_dump_get_line);
3005
3006 /**
3007  * kmsg_dump_get_buffer - copy kmsg log lines
3008  * @dumper: registered kmsg dumper
3009  * @syslog: include the "<4>" prefixes
3010  * @buf: buffer to copy the line to
3011  * @size: maximum size of the buffer
3012  * @len: length of line placed into buffer
3013  *
3014  * Start at the end of the kmsg buffer and fill the provided buffer
3015  * with as many of the the *youngest* kmsg records that fit into it.
3016  * If the buffer is large enough, all available kmsg records will be
3017  * copied with a single call.
3018  *
3019  * Consecutive calls will fill the buffer with the next block of
3020  * available older records, not including the earlier retrieved ones.
3021  *
3022  * A return value of FALSE indicates that there are no more records to
3023  * read.
3024  */
3025 bool kmsg_dump_get_buffer(struct kmsg_dumper *dumper, bool syslog,
3026                           char *buf, size_t size, size_t *len)
3027 {
3028         unsigned long flags;
3029         u64 seq;
3030         u32 idx;
3031         u64 next_seq;
3032         u32 next_idx;
3033         enum log_flags prev;
3034         size_t l = 0;
3035         bool ret = false;
3036
3037         if (!dumper->active)
3038                 goto out;
3039
3040         raw_spin_lock_irqsave(&logbuf_lock, flags);
3041         if (dumper->cur_seq < log_first_seq) {
3042                 /* messages are gone, move to first available one */
3043                 dumper->cur_seq = log_first_seq;
3044                 dumper->cur_idx = log_first_idx;
3045         }
3046
3047         /* last entry */
3048         if (dumper->cur_seq >= dumper->next_seq) {
3049                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
3050                 goto out;
3051         }
3052
3053         /* calculate length of entire buffer */
3054         seq = dumper->cur_seq;
3055         idx = dumper->cur_idx;
3056         prev = 0;
3057         while (seq < dumper->next_seq) {
3058                 struct printk_log *msg = log_from_idx(idx);
3059
3060                 l += msg_print_text(msg, prev, true, NULL, 0);
3061                 idx = log_next(idx);
3062                 seq++;
3063                 prev = msg->flags;
3064         }
3065
3066         /* move first record forward until length fits into the buffer */
3067         seq = dumper->cur_seq;
3068         idx = dumper->cur_idx;
3069         prev = 0;
3070         while (l > size && seq < dumper->next_seq) {
3071                 struct printk_log *msg = log_from_idx(idx);
3072
3073                 l -= msg_print_text(msg, prev, true, NULL, 0);
3074                 idx = log_next(idx);
3075                 seq++;
3076                 prev = msg->flags;
3077         }
3078
3079         /* last message in next interation */
3080         next_seq = seq;
3081         next_idx = idx;
3082
3083         l = 0;
3084         while (seq < dumper->next_seq) {
3085                 struct printk_log *msg = log_from_idx(idx);
3086
3087                 l += msg_print_text(msg, prev, syslog, buf + l, size - l);
3088                 idx = log_next(idx);
3089                 seq++;
3090                 prev = msg->flags;
3091         }
3092
3093         dumper->next_seq = next_seq;
3094         dumper->next_idx = next_idx;
3095         ret = true;
3096         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
3097 out:
3098         if (len)
3099                 *len = l;
3100         return ret;
3101 }
3102 EXPORT_SYMBOL_GPL(kmsg_dump_get_buffer);
3103
3104 /**
3105  * kmsg_dump_rewind_nolock - reset the interator (unlocked version)
3106  * @dumper: registered kmsg dumper
3107  *
3108  * Reset the dumper's iterator so that kmsg_dump_get_line() and
3109  * kmsg_dump_get_buffer() can be called again and used multiple
3110  * times within the same dumper.dump() callback.
3111  *
3112  * The function is similar to kmsg_dump_rewind(), but grabs no locks.
3113  */
3114 void kmsg_dump_rewind_nolock(struct kmsg_dumper *dumper)
3115 {
3116         dumper->cur_seq = clear_seq;
3117         dumper->cur_idx = clear_idx;
3118         dumper->next_seq = log_next_seq;
3119         dumper->next_idx = log_next_idx;
3120 }
3121
3122 /**
3123  * kmsg_dump_rewind - reset the interator
3124  * @dumper: registered kmsg dumper
3125  *
3126  * Reset the dumper's iterator so that kmsg_dump_get_line() and
3127  * kmsg_dump_get_buffer() can be called again and used multiple
3128  * times within the same dumper.dump() callback.
3129  */
3130 void kmsg_dump_rewind(struct kmsg_dumper *dumper)
3131 {
3132         unsigned long flags;
3133
3134         raw_spin_lock_irqsave(&logbuf_lock, flags);
3135         kmsg_dump_rewind_nolock(dumper);
3136         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
3137 }
3138 EXPORT_SYMBOL_GPL(kmsg_dump_rewind);
3139
3140 static char dump_stack_arch_desc_str[128];
3141
3142 /**
3143  * dump_stack_set_arch_desc - set arch-specific str to show with task dumps
3144  * @fmt: printf-style format string
3145  * @...: arguments for the format string
3146  *
3147  * The configured string will be printed right after utsname during task
3148  * dumps.  Usually used to add arch-specific system identifiers.  If an
3149  * arch wants to make use of such an ID string, it should initialize this
3150  * as soon as possible during boot.
3151  */
3152 void __init dump_stack_set_arch_desc(const char *fmt, ...)
3153 {
3154         va_list args;
3155
3156         va_start(args, fmt);
3157         vsnprintf(dump_stack_arch_desc_str, sizeof(dump_stack_arch_desc_str),
3158                   fmt, args);
3159         va_end(args);
3160 }
3161
3162 /**
3163  * dump_stack_print_info - print generic debug info for dump_stack()
3164  * @log_lvl: log level
3165  *
3166  * Arch-specific dump_stack() implementations can use this function to
3167  * print out the same debug information as the generic dump_stack().
3168  */
3169 void dump_stack_print_info(const char *log_lvl)
3170 {
3171         printk("%sCPU: %d PID: %d Comm: %.20s %s %s %.*s\n",
3172                log_lvl, raw_smp_processor_id(), current->pid, current->comm,
3173                print_tainted(), init_utsname()->release,
3174                (int)strcspn(init_utsname()->version, " "),
3175                init_utsname()->version);
3176
3177         if (dump_stack_arch_desc_str[0] != '\0')
3178                 printk("%sHardware name: %s\n",
3179                        log_lvl, dump_stack_arch_desc_str);
3180
3181         print_worker_info(log_lvl, current);
3182 }
3183
3184 /**
3185  * show_regs_print_info - print generic debug info for show_regs()
3186  * @log_lvl: log level
3187  *
3188  * show_regs() implementations can use this function to print out generic
3189  * debug information.
3190  */
3191 void show_regs_print_info(const char *log_lvl)
3192 {
3193         dump_stack_print_info(log_lvl);
3194
3195         printk("%stask: %p ti: %p task.ti: %p\n",
3196                log_lvl, current, current_thread_info(),
3197                task_thread_info(current));
3198 }
3199
3200 #endif