drivers/tty/serial/8250/8250_port.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  *  Base port operations for 8250/16550-type serial ports
   4  *
   5  *  Based on drivers/char/serial.c, by Linus Torvalds, Theodore Ts'o.
   6  *  Split from 8250_core.c, Copyright (C) 2001 Russell King.
   7  *
   8  * A note about mapbase / membase
   9  *
  10  *  mapbase is the physical address of the IO port.
  11  *  membase is an 'ioremapped' cookie.
  12  */
  13
  14 #include <linux/module.h>
  15 #include <linux/moduleparam.h>
  16 #include <linux/ioport.h>
  17 #include <linux/init.h>
  18 #include <linux/console.h>
  19 #include <linux/gpio/consumer.h>
  20 #include <linux/sysrq.h>
  21 #include <linux/delay.h>
  22 #include <linux/platform_device.h>
  23 #include <linux/tty.h>
  24 #include <linux/ratelimit.h>
  25 #include <linux/tty_flip.h>
  26 #include <linux/serial.h>
  27 #include <linux/serial_8250.h>
  28 #include <linux/nmi.h>
  29 #include <linux/mutex.h>
  30 #include <linux/slab.h>
  31 #include <linux/uaccess.h>
  32 #include <linux/pm_runtime.h>
  33 #include <linux/ktime.h>
  34
  35 #include <asm/io.h>
  36 #include <asm/irq.h>
  37
  38 #include "8250.h"
  39
  40 /* Nuvoton NPCM timeout register */
  41 #define UART_NPCM_TOR          7
  42 #define UART_NPCM_TOIE         BIT(7)  /* Timeout Interrupt Enable */
  43
  44 /*
  45  * Debugging.
  46  */
  47 #if 0
  48 #define DEBUG_AUTOCONF(fmt...)  printk(fmt)
  49 #else
  50 #define DEBUG_AUTOCONF(fmt...)  do { } while (0)
  51 #endif
  52
  53 /*
  54  * Here we define the default xmit fifo size used for each type of UART.
  55  */
  56 static const struct serial8250_config uart_config[] = {
  57         [PORT_UNKNOWN] = {
  58                 .name           = "unknown",
  59                 .fifo_size      = 1,
  60                 .tx_loadsz      = 1,
  61         },
  62         [PORT_8250] = {
  63                 .name           = "8250",
  64                 .fifo_size      = 1,
  65                 .tx_loadsz      = 1,
  66         },
  67         [PORT_16450] = {
  68                 .name           = "16450",
  69                 .fifo_size      = 1,
  70                 .tx_loadsz      = 1,
  71         },
  72         [PORT_16550] = {
  73                 .name           = "16550",
  74                 .fifo_size      = 1,
  75                 .tx_loadsz      = 1,
  76         },
  77         [PORT_16550A] = {
  78                 .name           = "16550A",
  79                 .fifo_size      = 16,
  80                 .tx_loadsz      = 16,
  81                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
  82                 .rxtrig_bytes   = {1, 4, 8, 14},
  83                 .flags          = UART_CAP_FIFO,
  84         },
  85         [PORT_CIRRUS] = {
  86                 .name           = "Cirrus",
  87                 .fifo_size      = 1,
  88                 .tx_loadsz      = 1,
  89         },
  90         [PORT_16650] = {
  91                 .name           = "ST16650",
  92                 .fifo_size      = 1,
  93                 .tx_loadsz      = 1,
  94                 .flags          = UART_CAP_FIFO | UART_CAP_EFR | UART_CAP_SLEEP,
  95         },
  96         [PORT_16650V2] = {
  97                 .name           = "ST16650V2",
  98                 .fifo_size      = 32,
  99                 .tx_loadsz      = 16,
 100                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_01 |
 101                                   UART_FCR_T_TRIG_00,
 102                 .rxtrig_bytes   = {8, 16, 24, 28},
 103                 .flags          = UART_CAP_FIFO | UART_CAP_EFR | UART_CAP_SLEEP,
 104         },
 105         [PORT_16750] = {
 106                 .name           = "TI16750",
 107                 .fifo_size      = 64,
 108                 .tx_loadsz      = 64,
 109                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10 |
 110                                   UART_FCR7_64BYTE,
 111                 .rxtrig_bytes   = {1, 16, 32, 56},
 112                 .flags          = UART_CAP_FIFO | UART_CAP_SLEEP | UART_CAP_AFE,
 113         },
 114         [PORT_STARTECH] = {
 115                 .name           = "Startech",
 116                 .fifo_size      = 1,
 117                 .tx_loadsz      = 1,
 118         },
 119         [PORT_16C950] = {
 120                 .name           = "16C950/954",
 121                 .fifo_size      = 128,
 122                 .tx_loadsz      = 128,
 123                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_01,
 124                 .rxtrig_bytes   = {16, 32, 112, 120},
 125                 /* UART_CAP_EFR breaks billionon CF bluetooth card. */
 126                 .flags          = UART_CAP_FIFO | UART_CAP_SLEEP,
 127         },
 128         [PORT_16654] = {
 129                 .name           = "ST16654",
 130                 .fifo_size      = 64,
 131                 .tx_loadsz      = 32,
 132                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_01 |
 133                                   UART_FCR_T_TRIG_10,
 134                 .rxtrig_bytes   = {8, 16, 56, 60},
 135                 .flags          = UART_CAP_FIFO | UART_CAP_EFR | UART_CAP_SLEEP,
 136         },
 137         [PORT_16850] = {
 138                 .name           = "XR16850",
 139                 .fifo_size      = 128,
 140                 .tx_loadsz      = 128,
 141                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 142                 .flags          = UART_CAP_FIFO | UART_CAP_EFR | UART_CAP_SLEEP,
 143         },
 144         [PORT_RSA] = {
 145                 .name           = "RSA",
 146                 .fifo_size      = 2048,
 147                 .tx_loadsz      = 2048,
 148                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_11,
 149                 .flags          = UART_CAP_FIFO,
 150         },
 151         [PORT_NS16550A] = {
 152                 .name           = "NS16550A",
 153                 .fifo_size      = 16,
 154                 .tx_loadsz      = 16,
 155                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 156                 .flags          = UART_CAP_FIFO | UART_NATSEMI,
 157         },
 158         [PORT_XSCALE] = {
 159                 .name           = "XScale",
 160                 .fifo_size      = 32,
 161                 .tx_loadsz      = 32,
 162                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 163                 .flags          = UART_CAP_FIFO | UART_CAP_UUE | UART_CAP_RTOIE,
 164         },
 165         [PORT_OCTEON] = {
 166                 .name           = "OCTEON",
 167                 .fifo_size      = 64,
 168                 .tx_loadsz      = 64,
 169                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 170                 .flags          = UART_CAP_FIFO,
 171         },
 172         [PORT_AR7] = {
 173                 .name           = "AR7",
 174                 .fifo_size      = 16,
 175                 .tx_loadsz      = 16,
 176                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_00,
 177                 .flags          = UART_CAP_FIFO /* | UART_CAP_AFE */,
 178         },
 179         [PORT_U6_16550A] = {
 180                 .name           = "U6_16550A",
 181                 .fifo_size      = 64,
 182                 .tx_loadsz      = 64,
 183                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 184                 .flags          = UART_CAP_FIFO | UART_CAP_AFE,
 185         },
 186         [PORT_TEGRA] = {
 187                 .name           = "Tegra",
 188                 .fifo_size      = 32,
 189                 .tx_loadsz      = 8,
 190                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_01 |
 191                                   UART_FCR_T_TRIG_01,
 192                 .rxtrig_bytes   = {1, 4, 8, 14},
 193                 .flags          = UART_CAP_FIFO | UART_CAP_RTOIE,
 194         },
 195         [PORT_XR17D15X] = {
 196                 .name           = "XR17D15X",
 197                 .fifo_size      = 64,
 198                 .tx_loadsz      = 64,
 199                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 200                 .flags          = UART_CAP_FIFO | UART_CAP_AFE | UART_CAP_EFR |
 201                                   UART_CAP_SLEEP,
 202         },
 203         [PORT_XR17V35X] = {
 204                 .name           = "XR17V35X",
 205                 .fifo_size      = 256,
 206                 .tx_loadsz      = 256,
 207                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_11 |
 208                                   UART_FCR_T_TRIG_11,
 209                 .flags          = UART_CAP_FIFO | UART_CAP_AFE | UART_CAP_EFR |
 210                                   UART_CAP_SLEEP,
 211         },
 212         [PORT_LPC3220] = {
 213                 .name           = "LPC3220",
 214                 .fifo_size      = 64,
 215                 .tx_loadsz      = 32,
 216                 .fcr            = UART_FCR_DMA_SELECT | UART_FCR_ENABLE_FIFO |
 217                                   UART_FCR_R_TRIG_00 | UART_FCR_T_TRIG_00,
 218                 .flags          = UART_CAP_FIFO,
 219         },
 220         [PORT_BRCM_TRUMANAGE] = {
 221                 .name           = "TruManage",
 222                 .fifo_size      = 1,
 223                 .tx_loadsz      = 1024,
 224                 .flags          = UART_CAP_HFIFO,
 225         },
 226         [PORT_8250_CIR] = {
 227                 .name           = "CIR port"
 228         },
 229         [PORT_ALTR_16550_F32] = {
 230                 .name           = "Altera 16550 FIFO32",
 231                 .fifo_size      = 32,
 232                 .tx_loadsz      = 32,
 233                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 234                 .rxtrig_bytes   = {1, 8, 16, 30},
 235                 .flags          = UART_CAP_FIFO | UART_CAP_AFE,
 236         },
 237         [PORT_ALTR_16550_F64] = {
 238                 .name           = "Altera 16550 FIFO64",
 239                 .fifo_size      = 64,
 240                 .tx_loadsz      = 64,
 241                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 242                 .rxtrig_bytes   = {1, 16, 32, 62},
 243                 .flags          = UART_CAP_FIFO | UART_CAP_AFE,
 244         },
 245         [PORT_ALTR_16550_F128] = {
 246                 .name           = "Altera 16550 FIFO128",
 247                 .fifo_size      = 128,
 248                 .tx_loadsz      = 128,
 249                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 250                 .rxtrig_bytes   = {1, 32, 64, 126},
 251                 .flags          = UART_CAP_FIFO | UART_CAP_AFE,
 252         },
 253         /*
 254          * tx_loadsz is set to 63-bytes instead of 64-bytes to implement
 255          * workaround of errata A-008006 which states that tx_loadsz should
 256          * be configured less than Maximum supported fifo bytes.
 257          */
 258         [PORT_16550A_FSL64] = {
 259                 .name           = "16550A_FSL64",
 260                 .fifo_size      = 64,
 261                 .tx_loadsz      = 63,
 262                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10 |
 263                                   UART_FCR7_64BYTE,
 264                 .flags          = UART_CAP_FIFO | UART_CAP_NOTEMT,
 265         },
 266         [PORT_RT2880] = {
 267                 .name           = "Palmchip BK-3103",
 268                 .fifo_size      = 16,
 269                 .tx_loadsz      = 16,
 270                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 271                 .rxtrig_bytes   = {1, 4, 8, 14},
 272                 .flags          = UART_CAP_FIFO,
 273         },
 274         [PORT_DA830] = {
 275                 .name           = "TI DA8xx/66AK2x",
 276                 .fifo_size      = 16,
 277                 .tx_loadsz      = 16,
 278                 .fcr            = UART_FCR_DMA_SELECT | UART_FCR_ENABLE_FIFO |
 279                                   UART_FCR_R_TRIG_10,
 280                 .rxtrig_bytes   = {1, 4, 8, 14},
 281                 .flags          = UART_CAP_FIFO | UART_CAP_AFE,
 282         },
 283         [PORT_MTK_BTIF] = {
 284                 .name           = "MediaTek BTIF",
 285                 .fifo_size      = 16,
 286                 .tx_loadsz      = 16,
 287                 .fcr            = UART_FCR_ENABLE_FIFO |
 288                                   UART_FCR_CLEAR_RCVR | UART_FCR_CLEAR_XMIT,
 289                 .flags          = UART_CAP_FIFO,
 290         },
 291         [PORT_NPCM] = {
 292                 .name           = "Nuvoton 16550",
 293                 .fifo_size      = 16,
 294                 .tx_loadsz      = 16,
 295                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10 |
 296                                   UART_FCR_CLEAR_RCVR | UART_FCR_CLEAR_XMIT,
 297                 .rxtrig_bytes   = {1, 4, 8, 14},
 298                 .flags          = UART_CAP_FIFO,
 299         },
 300         [PORT_SUNIX] = {
 301                 .name           = "Sunix",
 302                 .fifo_size      = 128,
 303                 .tx_loadsz      = 128,
 304                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_10,
 305                 .rxtrig_bytes   = {1, 32, 64, 112},
 306                 .flags          = UART_CAP_FIFO | UART_CAP_SLEEP,
 307         },
 308         [PORT_ASPEED_VUART] = {
 309                 .name           = "ASPEED VUART",
 310                 .fifo_size      = 16,
 311                 .tx_loadsz      = 16,
 312                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_00,
 313                 .rxtrig_bytes   = {1, 4, 8, 14},
 314                 .flags          = UART_CAP_FIFO,
 315         },
 316         [PORT_MCHP16550A] = {
 317                 .name           = "MCHP16550A",
 318                 .fifo_size      = 256,
 319                 .tx_loadsz      = 256,
 320                 .fcr            = UART_FCR_ENABLE_FIFO | UART_FCR_R_TRIG_01,
 321                 .rxtrig_bytes   = {2, 66, 130, 194},
 322                 .flags          = UART_CAP_FIFO,
 323         },
 324 };
 325
 326 /* Uart divisor latch read */
 327 static int default_serial_dl_read(struct uart_8250_port *up)
 328 {
 329         /* Assign these in pieces to truncate any bits above 7.  */
 330         unsigned char dll = serial_in(up, UART_DLL);
 331         unsigned char dlm = serial_in(up, UART_DLM);
 332
 333         return dll | dlm << 8;
 334 }
 335
 336 /* Uart divisor latch write */
 337 static void default_serial_dl_write(struct uart_8250_port *up, int value)
 338 {
 339         serial_out(up, UART_DLL, value & 0xff);
 340         serial_out(up, UART_DLM, value >> 8 & 0xff);
 341 }
 342
 343 #ifdef CONFIG_SERIAL_8250_RT288X
 344
 345 #define UART_REG_UNMAPPED       -1
 346
 347 /* Au1x00/RT288x UART hardware has a weird register layout */
 348 static const s8 au_io_in_map[8] = {
 349         [UART_RX]       = 0,
 350         [UART_IER]      = 2,
 351         [UART_IIR]      = 3,
 352         [UART_LCR]      = 5,
 353         [UART_MCR]      = 6,
 354         [UART_LSR]      = 7,
 355         [UART_MSR]      = 8,
 356         [UART_SCR]      = UART_REG_UNMAPPED,
 357 };
 358
 359 static const s8 au_io_out_map[8] = {
 360         [UART_TX]       = 1,
 361         [UART_IER]      = 2,
 362         [UART_FCR]      = 4,
 363         [UART_LCR]      = 5,
 364         [UART_MCR]      = 6,
 365         [UART_LSR]      = UART_REG_UNMAPPED,
 366         [UART_MSR]      = UART_REG_UNMAPPED,
 367         [UART_SCR]      = UART_REG_UNMAPPED,
 368 };
 369
 370 unsigned int au_serial_in(struct uart_port *p, int offset)
 371 {
 372         if (offset >= ARRAY_SIZE(au_io_in_map))
 373                 return UINT_MAX;
 374         offset = au_io_in_map[offset];
 375         if (offset == UART_REG_UNMAPPED)
 376                 return UINT_MAX;
 377         return __raw_readl(p->membase + (offset << p->regshift));
 378 }
 379
 380 void au_serial_out(struct uart_port *p, int offset, int value)
 381 {
 382         if (offset >= ARRAY_SIZE(au_io_out_map))
 383                 return;
 384         offset = au_io_out_map[offset];
 385         if (offset == UART_REG_UNMAPPED)
 386                 return;
 387         __raw_writel(value, p->membase + (offset << p->regshift));
 388 }
 389
 390 /* Au1x00 haven't got a standard divisor latch */
 391 static int au_serial_dl_read(struct uart_8250_port *up)
 392 {
 393         return __raw_readl(up->port.membase + 0x28);
 394 }
 395
 396 static void au_serial_dl_write(struct uart_8250_port *up, int value)
 397 {
 398         __raw_writel(value, up->port.membase + 0x28);
 399 }
 400
 401 #endif
 402
 403 static unsigned int hub6_serial_in(struct uart_port *p, int offset)
 404 {
 405         offset = offset << p->regshift;
 406         outb(p->hub6 - 1 + offset, p->iobase);
 407         return inb(p->iobase + 1);
 408 }
 409
 410 static void hub6_serial_out(struct uart_port *p, int offset, int value)
 411 {
 412         offset = offset << p->regshift;
 413         outb(p->hub6 - 1 + offset, p->iobase);
 414         outb(value, p->iobase + 1);
 415 }
 416
 417 static unsigned int mem_serial_in(struct uart_port *p, int offset)
 418 {
 419         offset = offset << p->regshift;
 420         return readb(p->membase + offset);
 421 }
 422
 423 static void mem_serial_out(struct uart_port *p, int offset, int value)
 424 {
 425         offset = offset << p->regshift;
 426         writeb(value, p->membase + offset);
 427 }
 428
 429 static void mem16_serial_out(struct uart_port *p, int offset, int value)
 430 {
 431         offset = offset << p->regshift;
 432         writew(value, p->membase + offset);
 433 }
 434
 435 static unsigned int mem16_serial_in(struct uart_port *p, int offset)
 436 {
 437         offset = offset << p->regshift;
 438         return readw(p->membase + offset);
 439 }
 440
 441 static void mem32_serial_out(struct uart_port *p, int offset, int value)
 442 {
 443         offset = offset << p->regshift;
 444         writel(value, p->membase + offset);
 445 }
 446
 447 static unsigned int mem32_serial_in(struct uart_port *p, int offset)
 448 {
 449         offset = offset << p->regshift;
 450         return readl(p->membase + offset);
 451 }
 452
 453 static void mem32be_serial_out(struct uart_port *p, int offset, int value)
 454 {
 455         offset = offset << p->regshift;
 456         iowrite32be(value, p->membase + offset);
 457 }
 458
 459 static unsigned int mem32be_serial_in(struct uart_port *p, int offset)
 460 {
 461         offset = offset << p->regshift;
 462         return ioread32be(p->membase + offset);
 463 }
 464
 465 static unsigned int io_serial_in(struct uart_port *p, int offset)
 466 {
 467         offset = offset << p->regshift;
 468         return inb(p->iobase + offset);
 469 }
 470
 471 static void io_serial_out(struct uart_port *p, int offset, int value)
 472 {
 473         offset = offset << p->regshift;
 474         outb(value, p->iobase + offset);
 475 }
 476
 477 static int serial8250_default_handle_irq(struct uart_port *port);
 478
 479 static void set_io_from_upio(struct uart_port *p)
 480 {
 481         struct uart_8250_port *up = up_to_u8250p(p);
 482
 483         up->dl_read = default_serial_dl_read;
 484         up->dl_write = default_serial_dl_write;
 485
 486         switch (p->iotype) {
 487         case UPIO_HUB6:
 488                 p->serial_in = hub6_serial_in;
 489                 p->serial_out = hub6_serial_out;
 490                 break;
 491
 492         case UPIO_MEM:
 493                 p->serial_in = mem_serial_in;
 494                 p->serial_out = mem_serial_out;
 495                 break;
 496
 497         case UPIO_MEM16:
 498                 p->serial_in = mem16_serial_in;
 499                 p->serial_out = mem16_serial_out;
 500                 break;
 501
 502         case UPIO_MEM32:
 503                 p->serial_in = mem32_serial_in;
 504                 p->serial_out = mem32_serial_out;
 505                 break;
 506
 507         case UPIO_MEM32BE:
 508                 p->serial_in = mem32be_serial_in;
 509                 p->serial_out = mem32be_serial_out;
 510                 break;
 511
 512 #ifdef CONFIG_SERIAL_8250_RT288X
 513         case UPIO_AU:
 514                 p->serial_in = au_serial_in;
 515                 p->serial_out = au_serial_out;
 516                 up->dl_read = au_serial_dl_read;
 517                 up->dl_write = au_serial_dl_write;
 518                 break;
 519 #endif
 520
 521         default:
 522                 p->serial_in = io_serial_in;
 523                 p->serial_out = io_serial_out;
 524                 break;
 525         }
 526         /* Remember loaded iotype */
 527         up->cur_iotype = p->iotype;
 528         p->handle_irq = serial8250_default_handle_irq;
 529 }
 530
 531 static void
 532 serial_port_out_sync(struct uart_port *p, int offset, int value)
 533 {
 534         switch (p->iotype) {
 535         case UPIO_MEM:
 536         case UPIO_MEM16:
 537         case UPIO_MEM32:
 538         case UPIO_MEM32BE:
 539         case UPIO_AU:
 540                 p->serial_out(p, offset, value);
 541                 p->serial_in(p, UART_LCR);      /* safe, no side-effects */
 542                 break;
 543         default:
 544                 p->serial_out(p, offset, value);
 545         }
 546 }
 547
 548 /*
 549  * FIFO support.
 550  */
 551 static void serial8250_clear_fifos(struct uart_8250_port *p)
 552 {
 553         if (p->capabilities & UART_CAP_FIFO) {
 554                 serial_out(p, UART_FCR, UART_FCR_ENABLE_FIFO);
 555                 serial_out(p, UART_FCR, UART_FCR_ENABLE_FIFO |
 556                                UART_FCR_CLEAR_RCVR | UART_FCR_CLEAR_XMIT);
 557                 serial_out(p, UART_FCR, 0);
 558         }
 559 }
 560
 561 static enum hrtimer_restart serial8250_em485_handle_start_tx(struct hrtimer *t);
 562 static enum hrtimer_restart serial8250_em485_handle_stop_tx(struct hrtimer *t);
 563
 564 void serial8250_clear_and_reinit_fifos(struct uart_8250_port *p)
 565 {
 566         serial8250_clear_fifos(p);
 567         serial_out(p, UART_FCR, p->fcr);
 568 }
 569 EXPORT_SYMBOL_GPL(serial8250_clear_and_reinit_fifos);
 570
 571 void serial8250_rpm_get(struct uart_8250_port *p)
 572 {
 573         if (!(p->capabilities & UART_CAP_RPM))
 574                 return;
 575         pm_runtime_get_sync(p->port.dev);
 576 }
 577 EXPORT_SYMBOL_GPL(serial8250_rpm_get);
 578
 579 void serial8250_rpm_put(struct uart_8250_port *p)
 580 {
 581         if (!(p->capabilities & UART_CAP_RPM))
 582                 return;
 583         pm_runtime_mark_last_busy(p->port.dev);
 584         pm_runtime_put_autosuspend(p->port.dev);
 585 }
 586 EXPORT_SYMBOL_GPL(serial8250_rpm_put);
 587
 588 /**
 589  *      serial8250_em485_init() - put uart_8250_port into rs485 emulating
 590  *      @p:     uart_8250_port port instance
 591  *
 592  *      The function is used to start rs485 software emulating on the
 593  *      &struct uart_8250_port* @p. Namely, RTS is switched before/after
 594  *      transmission. The function is idempotent, so it is safe to call it
 595  *      multiple times.
 596  *
 597  *      The caller MUST enable interrupt on empty shift register before
 598  *      calling serial8250_em485_init(). This interrupt is not a part of
 599  *      8250 standard, but implementation defined.
 600  *
 601  *      The function is supposed to be called from .rs485_config callback
 602  *      or from any other callback protected with p->port.lock spinlock.
 603  *
 604  *      See also serial8250_em485_destroy()
 605  *
 606  *      Return 0 - success, -errno - otherwise
 607  */
 608 static int serial8250_em485_init(struct uart_8250_port *p)
 609 {
 610         if (p->em485)
 611                 goto deassert_rts;
 612
 613         p->em485 = kmalloc(sizeof(struct uart_8250_em485), GFP_ATOMIC);
 614         if (!p->em485)
 615                 return -ENOMEM;
 616
 617         hrtimer_init(&p->em485->stop_tx_timer, CLOCK_MONOTONIC,
 618                      HRTIMER_MODE_REL);
 619         hrtimer_init(&p->em485->start_tx_timer, CLOCK_MONOTONIC,
 620                      HRTIMER_MODE_REL);
 621         p->em485->stop_tx_timer.function = &serial8250_em485_handle_stop_tx;
 622         p->em485->start_tx_timer.function = &serial8250_em485_handle_start_tx;
 623         p->em485->port = p;
 624         p->em485->active_timer = NULL;
 625         p->em485->tx_stopped = true;
 626
 627 deassert_rts:
 628         if (p->em485->tx_stopped)
 629                 p->rs485_stop_tx(p);
 630
 631         return 0;
 632 }
 633
 634 /**
 635  *      serial8250_em485_destroy() - put uart_8250_port into normal state
 636  *      @p:     uart_8250_port port instance
 637  *
 638  *      The function is used to stop rs485 software emulating on the
 639  *      &struct uart_8250_port* @p. The function is idempotent, so it is safe to
 640  *      call it multiple times.
 641  *
 642  *      The function is supposed to be called from .rs485_config callback
 643  *      or from any other callback protected with p->port.lock spinlock.
 644  *
 645  *      See also serial8250_em485_init()
 646  */
 647 void serial8250_em485_destroy(struct uart_8250_port *p)
 648 {
 649         if (!p->em485)
 650                 return;
 651
 652         hrtimer_cancel(&p->em485->start_tx_timer);
 653         hrtimer_cancel(&p->em485->stop_tx_timer);
 654
 655         kfree(p->em485);
 656         p->em485 = NULL;
 657 }
 658 EXPORT_SYMBOL_GPL(serial8250_em485_destroy);
 659
 660 struct serial_rs485 serial8250_em485_supported = {
 661         .flags = SER_RS485_ENABLED | SER_RS485_RTS_ON_SEND | SER_RS485_RTS_AFTER_SEND |
 662                  SER_RS485_TERMINATE_BUS | SER_RS485_RX_DURING_TX,
 663         .delay_rts_before_send = 1,
 664         .delay_rts_after_send = 1,
 665 };
 666 EXPORT_SYMBOL_GPL(serial8250_em485_supported);
 667
 668 /**
 669  * serial8250_em485_config() - generic ->rs485_config() callback
 670  * @port: uart port
 671  * @rs485: rs485 settings
 672  *
 673  * Generic callback usable by 8250 uart drivers to activate rs485 settings
 674  * if the uart is incapable of driving RTS as a Transmit Enable signal in
 675  * hardware, relying on software emulation instead.
 676  */
 677 int serial8250_em485_config(struct uart_port *port, struct ktermios *termios,
 678                             struct serial_rs485 *rs485)
 679 {
 680         struct uart_8250_port *up = up_to_u8250p(port);
 681
 682         /* pick sane settings if the user hasn't */
 683         if (!!(rs485->flags & SER_RS485_RTS_ON_SEND) ==
 684             !!(rs485->flags & SER_RS485_RTS_AFTER_SEND)) {
 685                 rs485->flags |= SER_RS485_RTS_ON_SEND;
 686                 rs485->flags &= ~SER_RS485_RTS_AFTER_SEND;
 687         }
 688
 689         /*
 690          * Both serial8250_em485_init() and serial8250_em485_destroy()
 691          * are idempotent.
 692          */
 693         if (rs485->flags & SER_RS485_ENABLED)
 694                 return serial8250_em485_init(up);
 695
 696         serial8250_em485_destroy(up);
 697         return 0;
 698 }
 699 EXPORT_SYMBOL_GPL(serial8250_em485_config);
 700
 701 /*
 702  * These two wrappers ensure that enable_runtime_pm_tx() can be called more than
 703  * once and disable_runtime_pm_tx() will still disable RPM because the fifo is
 704  * empty and the HW can idle again.
 705  */
 706 void serial8250_rpm_get_tx(struct uart_8250_port *p)
 707 {
 708         unsigned char rpm_active;
 709
 710         if (!(p->capabilities & UART_CAP_RPM))
 711                 return;
 712
 713         rpm_active = xchg(&p->rpm_tx_active, 1);
 714         if (rpm_active)
 715                 return;
 716         pm_runtime_get_sync(p->port.dev);
 717 }
 718 EXPORT_SYMBOL_GPL(serial8250_rpm_get_tx);
 719
 720 void serial8250_rpm_put_tx(struct uart_8250_port *p)
 721 {
 722         unsigned char rpm_active;
 723
 724         if (!(p->capabilities & UART_CAP_RPM))
 725                 return;
 726
 727         rpm_active = xchg(&p->rpm_tx_active, 0);
 728         if (!rpm_active)
 729                 return;
 730         pm_runtime_mark_last_busy(p->port.dev);
 731         pm_runtime_put_autosuspend(p->port.dev);
 732 }
 733 EXPORT_SYMBOL_GPL(serial8250_rpm_put_tx);
 734
 735 /*
 736  * IER sleep support.  UARTs which have EFRs need the "extended
 737  * capability" bit enabled.  Note that on XR16C850s, we need to
 738  * reset LCR to write to IER.
 739  */
 740 static void serial8250_set_sleep(struct uart_8250_port *p, int sleep)
 741 {
 742         unsigned char lcr = 0, efr = 0;
 743
 744         serial8250_rpm_get(p);
 745
 746         if (p->capabilities & UART_CAP_SLEEP) {
 747                 if (p->capabilities & UART_CAP_EFR) {
 748                         lcr = serial_in(p, UART_LCR);
 749                         efr = serial_in(p, UART_EFR);
 750                         serial_out(p, UART_LCR, UART_LCR_CONF_MODE_B);
 751                         serial_out(p, UART_EFR, UART_EFR_ECB);
 752                         serial_out(p, UART_LCR, 0);
 753                 }
 754                 serial_out(p, UART_IER, sleep ? UART_IERX_SLEEP : 0);
 755                 if (p->capabilities & UART_CAP_EFR) {
 756                         serial_out(p, UART_LCR, UART_LCR_CONF_MODE_B);
 757                         serial_out(p, UART_EFR, efr);
 758                         serial_out(p, UART_LCR, lcr);
 759                 }
 760         }
 761
 762         serial8250_rpm_put(p);
 763 }
 764
 765 static void serial8250_clear_IER(struct uart_8250_port *up)
 766 {
 767         if (up->capabilities & UART_CAP_UUE)
 768                 serial_out(up, UART_IER, UART_IER_UUE);
 769         else
 770                 serial_out(up, UART_IER, 0);
 771 }
 772
 773 #ifdef CONFIG_SERIAL_8250_RSA
 774 /*
 775  * Attempts to turn on the RSA FIFO.  Returns zero on failure.
 776  * We set the port uart clock rate if we succeed.
 777  */
 778 static int __enable_rsa(struct uart_8250_port *up)
 779 {
 780         unsigned char mode;
 781         int result;
 782
 783         mode = serial_in(up, UART_RSA_MSR);
 784         result = mode & UART_RSA_MSR_FIFO;
 785
 786         if (!result) {
 787                 serial_out(up, UART_RSA_MSR, mode | UART_RSA_MSR_FIFO);
 788                 mode = serial_in(up, UART_RSA_MSR);
 789                 result = mode & UART_RSA_MSR_FIFO;
 790         }
 791
 792         if (result)
 793                 up->port.uartclk = SERIAL_RSA_BAUD_BASE * 16;
 794
 795         return result;
 796 }
 797
 798 static void enable_rsa(struct uart_8250_port *up)
 799 {
 800         if (up->port.type == PORT_RSA) {
 801                 if (up->port.uartclk != SERIAL_RSA_BAUD_BASE * 16) {
 802                         spin_lock_irq(&up->port.lock);
 803                         __enable_rsa(up);
 804                         spin_unlock_irq(&up->port.lock);
 805                 }
 806                 if (up->port.uartclk == SERIAL_RSA_BAUD_BASE * 16)
 807                         serial_out(up, UART_RSA_FRR, 0);
 808         }
 809 }
 810
 811 /*
 812  * Attempts to turn off the RSA FIFO.  Returns zero on failure.
 813  * It is unknown why interrupts were disabled in here.  However,
 814  * the caller is expected to preserve this behaviour by grabbing
 815  * the spinlock before calling this function.
 816  */
 817 static void disable_rsa(struct uart_8250_port *up)
 818 {
 819         unsigned char mode;
 820         int result;
 821
 822         if (up->port.type == PORT_RSA &&
 823             up->port.uartclk == SERIAL_RSA_BAUD_BASE * 16) {
 824                 spin_lock_irq(&up->port.lock);
 825
 826                 mode = serial_in(up, UART_RSA_MSR);
 827                 result = !(mode & UART_RSA_MSR_FIFO);
 828
 829                 if (!result) {
 830                         serial_out(up, UART_RSA_MSR, mode & ~UART_RSA_MSR_FIFO);
 831                         mode = serial_in(up, UART_RSA_MSR);
 832                         result = !(mode & UART_RSA_MSR_FIFO);
 833                 }
 834
 835                 if (result)
 836                         up->port.uartclk = SERIAL_RSA_BAUD_BASE_LO * 16;
 837                 spin_unlock_irq(&up->port.lock);
 838         }
 839 }
 840 #endif /* CONFIG_SERIAL_8250_RSA */
 841
 842 /*
 843  * This is a quickie test to see how big the FIFO is.
 844  * It doesn't work at all the time, more's the pity.
 845  */
 846 static int size_fifo(struct uart_8250_port *up)
 847 {
 848         unsigned char old_fcr, old_mcr, old_lcr;
 849         unsigned short old_dl;
 850         int count;
 851
 852         old_lcr = serial_in(up, UART_LCR);
 853         serial_out(up, UART_LCR, 0);
 854         old_fcr = serial_in(up, UART_FCR);
 855         old_mcr = serial8250_in_MCR(up);
 856         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO |
 857                     UART_FCR_CLEAR_RCVR | UART_FCR_CLEAR_XMIT);
 858         serial8250_out_MCR(up, UART_MCR_LOOP);
 859         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_A);
 860         old_dl = serial_dl_read(up);
 861         serial_dl_write(up, 0x0001);
 862         serial_out(up, UART_LCR, UART_LCR_WLEN8);
 863         for (count = 0; count < 256; count++)
 864                 serial_out(up, UART_TX, count);
 865         mdelay(20);/* FIXME - schedule_timeout */
 866         for (count = 0; (serial_in(up, UART_LSR) & UART_LSR_DR) &&
 867              (count < 256); count++)
 868                 serial_in(up, UART_RX);
 869         serial_out(up, UART_FCR, old_fcr);
 870         serial8250_out_MCR(up, old_mcr);
 871         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_A);
 872         serial_dl_write(up, old_dl);
 873         serial_out(up, UART_LCR, old_lcr);
 874
 875         return count;
 876 }
 877
 878 /*
 879  * Read UART ID using the divisor method - set DLL and DLM to zero
 880  * and the revision will be in DLL and device type in DLM.  We
 881  * preserve the device state across this.
 882  */
 883 static unsigned int autoconfig_read_divisor_id(struct uart_8250_port *p)
 884 {
 885         unsigned char old_lcr;
 886         unsigned int id, old_dl;
 887
 888         old_lcr = serial_in(p, UART_LCR);
 889         serial_out(p, UART_LCR, UART_LCR_CONF_MODE_A);
 890         old_dl = serial_dl_read(p);
 891         serial_dl_write(p, 0);
 892         id = serial_dl_read(p);
 893         serial_dl_write(p, old_dl);
 894
 895         serial_out(p, UART_LCR, old_lcr);
 896
 897         return id;
 898 }
 899
 900 /*
 901  * This is a helper routine to autodetect StarTech/Exar/Oxsemi UART's.
 902  * When this function is called we know it is at least a StarTech
 903  * 16650 V2, but it might be one of several StarTech UARTs, or one of
 904  * its clones.  (We treat the broken original StarTech 16650 V1 as a
 905  * 16550, and why not?  Startech doesn't seem to even acknowledge its
 906  * existence.)
 907  *
 908  * What evil have men's minds wrought...
 909  */
 910 static void autoconfig_has_efr(struct uart_8250_port *up)
 911 {
 912         unsigned int id1, id2, id3, rev;
 913
 914         /*
 915          * Everything with an EFR has SLEEP
 916          */
 917         up->capabilities |= UART_CAP_EFR | UART_CAP_SLEEP;
 918
 919         /*
 920          * First we check to see if it's an Oxford Semiconductor UART.
 921          *
 922          * If we have to do this here because some non-National
 923          * Semiconductor clone chips lock up if you try writing to the
 924          * LSR register (which serial_icr_read does)
 925          */
 926
 927         /*
 928          * Check for Oxford Semiconductor 16C950.
 929          *
 930          * EFR [4] must be set else this test fails.
 931          *
 932          * This shouldn't be necessary, but Mike Hudson (Exoray@isys.ca)
 933          * claims that it's needed for 952 dual UART's (which are not
 934          * recommended for new designs).
 935          */
 936         up->acr = 0;
 937         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_B);
 938         serial_out(up, UART_EFR, UART_EFR_ECB);
 939         serial_out(up, UART_LCR, 0x00);
 940         id1 = serial_icr_read(up, UART_ID1);
 941         id2 = serial_icr_read(up, UART_ID2);
 942         id3 = serial_icr_read(up, UART_ID3);
 943         rev = serial_icr_read(up, UART_REV);
 944
 945         DEBUG_AUTOCONF("950id=%02x:%02x:%02x:%02x ", id1, id2, id3, rev);
 946
 947         if (id1 == 0x16 && id2 == 0xC9 &&
 948             (id3 == 0x50 || id3 == 0x52 || id3 == 0x54)) {
 949                 up->port.type = PORT_16C950;
 950
 951                 /*
 952                  * Enable work around for the Oxford Semiconductor 952 rev B
 953                  * chip which causes it to seriously miscalculate baud rates
 954                  * when DLL is 0.
 955                  */
 956                 if (id3 == 0x52 && rev == 0x01)
 957                         up->bugs |= UART_BUG_QUOT;
 958                 return;
 959         }
 960
 961         /*
 962          * We check for a XR16C850 by setting DLL and DLM to 0, and then
 963          * reading back DLL and DLM.  The chip type depends on the DLM
 964          * value read back:
 965          *  0x10 - XR16C850 and the DLL contains the chip revision.
 966          *  0x12 - XR16C2850.
 967          *  0x14 - XR16C854.
 968          */
 969         id1 = autoconfig_read_divisor_id(up);
 970         DEBUG_AUTOCONF("850id=%04x ", id1);
 971
 972         id2 = id1 >> 8;
 973         if (id2 == 0x10 || id2 == 0x12 || id2 == 0x14) {
 974                 up->port.type = PORT_16850;
 975                 return;
 976         }
 977
 978         /*
 979          * It wasn't an XR16C850.
 980          *
 981          * We distinguish between the '654 and the '650 by counting
 982          * how many bytes are in the FIFO.  I'm using this for now,
 983          * since that's the technique that was sent to me in the
 984          * serial driver update, but I'm not convinced this works.
 985          * I've had problems doing this in the past.  -TYT
 986          */
 987         if (size_fifo(up) == 64)
 988                 up->port.type = PORT_16654;
 989         else
 990                 up->port.type = PORT_16650V2;
 991 }
 992
 993 /*
 994  * We detected a chip without a FIFO.  Only two fall into
 995  * this category - the original 8250 and the 16450.  The
 996  * 16450 has a scratch register (accessible with LCR=0)
 997  */
 998 static void autoconfig_8250(struct uart_8250_port *up)
 999 {
1000         unsigned char scratch, status1, status2;
1001
1002         up->port.type = PORT_8250;
1003
1004         scratch = serial_in(up, UART_SCR);
1005         serial_out(up, UART_SCR, 0xa5);
1006         status1 = serial_in(up, UART_SCR);
1007         serial_out(up, UART_SCR, 0x5a);
1008         status2 = serial_in(up, UART_SCR);
1009         serial_out(up, UART_SCR, scratch);
1010
1011         if (status1 == 0xa5 && status2 == 0x5a)
1012                 up->port.type = PORT_16450;
1013 }
1014
1015 static int broken_efr(struct uart_8250_port *up)
1016 {
1017         /*
1018          * Exar ST16C2550 "A2" devices incorrectly detect as
1019          * having an EFR, and report an ID of 0x0201.  See
1020          * http://linux.derkeiler.com/Mailing-Lists/Kernel/2004-11/4812.html
1021          */
1022         if (autoconfig_read_divisor_id(up) == 0x0201 && size_fifo(up) == 16)
1023                 return 1;
1024
1025         return 0;
1026 }
1027
1028 /*
1029  * We know that the chip has FIFOs.  Does it have an EFR?  The
1030  * EFR is located in the same register position as the IIR and
1031  * we know the top two bits of the IIR are currently set.  The
1032  * EFR should contain zero.  Try to read the EFR.
1033  */
1034 static void autoconfig_16550a(struct uart_8250_port *up)
1035 {
1036         unsigned char status1, status2;
1037         unsigned int iersave;
1038
1039         up->port.type = PORT_16550A;
1040         up->capabilities |= UART_CAP_FIFO;
1041
1042         if (!IS_ENABLED(CONFIG_SERIAL_8250_16550A_VARIANTS) &&
1043             !(up->port.flags & UPF_FULL_PROBE))
1044                 return;
1045
1046         /*
1047          * Check for presence of the EFR when DLAB is set.
1048          * Only ST16C650V1 UARTs pass this test.
1049          */
1050         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_A);
1051         if (serial_in(up, UART_EFR) == 0) {
1052                 serial_out(up, UART_EFR, 0xA8);
1053                 if (serial_in(up, UART_EFR) != 0) {
1054                         DEBUG_AUTOCONF("EFRv1 ");
1055                         up->port.type = PORT_16650;
1056                         up->capabilities |= UART_CAP_EFR | UART_CAP_SLEEP;
1057                 } else {
1058                         serial_out(up, UART_LCR, 0);
1059                         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO |
1060                                    UART_FCR7_64BYTE);
1061                         status1 = serial_in(up, UART_IIR) & (UART_IIR_64BYTE_FIFO |
1062                                                              UART_IIR_FIFO_ENABLED);
1063                         serial_out(up, UART_FCR, 0);
1064                         serial_out(up, UART_LCR, 0);
1065
1066                         if (status1 == (UART_IIR_64BYTE_FIFO | UART_IIR_FIFO_ENABLED))
1067                                 up->port.type = PORT_16550A_FSL64;
1068                         else
1069                                 DEBUG_AUTOCONF("Motorola 8xxx DUART ");
1070                 }
1071                 serial_out(up, UART_EFR, 0);
1072                 return;
1073         }
1074
1075         /*
1076          * Maybe it requires 0xbf to be written to the LCR.
1077          * (other ST16C650V2 UARTs, TI16C752A, etc)
1078          */
1079         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_B);
1080         if (serial_in(up, UART_EFR) == 0 && !broken_efr(up)) {
1081                 DEBUG_AUTOCONF("EFRv2 ");
1082                 autoconfig_has_efr(up);
1083                 return;
1084         }
1085
1086         /*
1087          * Check for a National Semiconductor SuperIO chip.
1088          * Attempt to switch to bank 2, read the value of the LOOP bit
1089          * from EXCR1. Switch back to bank 0, change it in MCR. Then
1090          * switch back to bank 2, read it from EXCR1 again and check
1091          * it's changed. If so, set baud_base in EXCR2 to 921600. -- dwmw2
1092          */
1093         serial_out(up, UART_LCR, 0);
1094         status1 = serial8250_in_MCR(up);
1095         serial_out(up, UART_LCR, 0xE0);
1096         status2 = serial_in(up, 0x02); /* EXCR1 */
1097
1098         if (!((status2 ^ status1) & UART_MCR_LOOP)) {
1099                 serial_out(up, UART_LCR, 0);
1100                 serial8250_out_MCR(up, status1 ^ UART_MCR_LOOP);
1101                 serial_out(up, UART_LCR, 0xE0);
1102                 status2 = serial_in(up, 0x02); /* EXCR1 */
1103                 serial_out(up, UART_LCR, 0);
1104                 serial8250_out_MCR(up, status1);
1105
1106                 if ((status2 ^ status1) & UART_MCR_LOOP) {
1107                         unsigned short quot;
1108
1109                         serial_out(up, UART_LCR, 0xE0);
1110
1111                         quot = serial_dl_read(up);
1112                         quot <<= 3;
1113
1114                         if (ns16550a_goto_highspeed(up))
1115                                 serial_dl_write(up, quot);
1116
1117                         serial_out(up, UART_LCR, 0);
1118
1119                         up->port.uartclk = 921600*16;
1120                         up->port.type = PORT_NS16550A;
1121                         up->capabilities |= UART_NATSEMI;
1122                         return;
1123                 }
1124         }
1125
1126         /*
1127          * No EFR.  Try to detect a TI16750, which only sets bit 5 of
1128          * the IIR when 64 byte FIFO mode is enabled when DLAB is set.
1129          * Try setting it with and without DLAB set.  Cheap clones
1130          * set bit 5 without DLAB set.
1131          */
1132         serial_out(up, UART_LCR, 0);
1133         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO | UART_FCR7_64BYTE);
1134         status1 = serial_in(up, UART_IIR) & (UART_IIR_64BYTE_FIFO | UART_IIR_FIFO_ENABLED);
1135         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO);
1136
1137         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_A);
1138         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO | UART_FCR7_64BYTE);
1139         status2 = serial_in(up, UART_IIR) & (UART_IIR_64BYTE_FIFO | UART_IIR_FIFO_ENABLED);
1140         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO);
1141
1142         serial_out(up, UART_LCR, 0);
1143
1144         DEBUG_AUTOCONF("iir1=%d iir2=%d ", status1, status2);
1145
1146         if (status1 == UART_IIR_FIFO_ENABLED_16550A &&
1147             status2 == (UART_IIR_64BYTE_FIFO | UART_IIR_FIFO_ENABLED_16550A)) {
1148                 up->port.type = PORT_16750;
1149                 up->capabilities |= UART_CAP_AFE | UART_CAP_SLEEP;
1150                 return;
1151         }
1152
1153         /*
1154          * Try writing and reading the UART_IER_UUE bit (b6).
1155          * If it works, this is probably one of the Xscale platform's
1156          * internal UARTs.
1157          * We're going to explicitly set the UUE bit to 0 before
1158          * trying to write and read a 1 just to make sure it's not
1159          * already a 1 and maybe locked there before we even start.
1160          */
1161         iersave = serial_in(up, UART_IER);
1162         serial_out(up, UART_IER, iersave & ~UART_IER_UUE);
1163         if (!(serial_in(up, UART_IER) & UART_IER_UUE)) {
1164                 /*
1165                  * OK it's in a known zero state, try writing and reading
1166                  * without disturbing the current state of the other bits.
1167                  */
1168                 serial_out(up, UART_IER, iersave | UART_IER_UUE);
1169                 if (serial_in(up, UART_IER) & UART_IER_UUE) {
1170                         /*
1171                          * It's an Xscale.
1172                          * We'll leave the UART_IER_UUE bit set to 1 (enabled).
1173                          */
1174                         DEBUG_AUTOCONF("Xscale ");
1175                         up->port.type = PORT_XSCALE;
1176                         up->capabilities |= UART_CAP_UUE | UART_CAP_RTOIE;
1177                         return;
1178                 }
1179         } else {
1180                 /*
1181                  * If we got here we couldn't force the IER_UUE bit to 0.
1182                  * Log it and continue.
1183                  */
1184                 DEBUG_AUTOCONF("Couldn't force IER_UUE to 0 ");
1185         }
1186         serial_out(up, UART_IER, iersave);
1187
1188         /*
1189          * We distinguish between 16550A and U6 16550A by counting
1190          * how many bytes are in the FIFO.
1191          */
1192         if (up->port.type == PORT_16550A && size_fifo(up) == 64) {
1193                 up->port.type = PORT_U6_16550A;
1194                 up->capabilities |= UART_CAP_AFE;
1195         }
1196 }
1197
1198 /*
1199  * This routine is called by rs_init() to initialize a specific serial
1200  * port.  It determines what type of UART chip this serial port is
1201  * using: 8250, 16450, 16550, 16550A.  The important question is
1202  * whether or not this UART is a 16550A or not, since this will
1203  * determine whether or not we can use its FIFO features or not.
1204  */
1205 static void autoconfig(struct uart_8250_port *up)
1206 {
1207         unsigned char status1, scratch, scratch2, scratch3;
1208         unsigned char save_lcr, save_mcr;
1209         struct uart_port *port = &up->port;
1210         unsigned long flags;
1211         unsigned int old_capabilities;
1212
1213         if (!port->iobase && !port->mapbase && !port->membase)
1214                 return;
1215
1216         DEBUG_AUTOCONF("%s: autoconf (0x%04lx, 0x%p): ",
1217                        port->name, port->iobase, port->membase);
1218
1219         /*
1220          * We really do need global IRQs disabled here - we're going to
1221          * be frobbing the chips IRQ enable register to see if it exists.
1222          */
1223         spin_lock_irqsave(&port->lock, flags);
1224
1225         up->capabilities = 0;
1226         up->bugs = 0;
1227
1228         if (!(port->flags & UPF_BUGGY_UART)) {
1229                 /*
1230                  * Do a simple existence test first; if we fail this,
1231                  * there's no point trying anything else.
1232                  *
1233                  * 0x80 is used as a nonsense port to prevent against
1234                  * false positives due to ISA bus float.  The
1235                  * assumption is that 0x80 is a non-existent port;
1236                  * which should be safe since include/asm/io.h also
1237                  * makes this assumption.
1238                  *
1239                  * Note: this is safe as long as MCR bit 4 is clear
1240                  * and the device is in "PC" mode.
1241                  */
1242                 scratch = serial_in(up, UART_IER);
1243                 serial_out(up, UART_IER, 0);
1244 #ifdef __i386__
1245                 outb(0xff, 0x080);
1246 #endif
1247                 /*
1248                  * Mask out IER[7:4] bits for test as some UARTs (e.g. TL
1249                  * 16C754B) allow only to modify them if an EFR bit is set.
1250                  */
1251                 scratch2 = serial_in(up, UART_IER) & UART_IER_ALL_INTR;
1252                 serial_out(up, UART_IER, UART_IER_ALL_INTR);
1253 #ifdef __i386__
1254                 outb(0, 0x080);
1255 #endif
1256                 scratch3 = serial_in(up, UART_IER) & UART_IER_ALL_INTR;
1257                 serial_out(up, UART_IER, scratch);
1258                 if (scratch2 != 0 || scratch3 != UART_IER_ALL_INTR) {
1259                         /*
1260                          * We failed; there's nothing here
1261                          */
1262                         spin_unlock_irqrestore(&port->lock, flags);
1263                         DEBUG_AUTOCONF("IER test failed (%02x, %02x) ",
1264                                        scratch2, scratch3);
1265                         goto out;
1266                 }
1267         }
1268
1269         save_mcr = serial8250_in_MCR(up);
1270         save_lcr = serial_in(up, UART_LCR);
1271
1272         /*
1273          * Check to see if a UART is really there.  Certain broken
1274          * internal modems based on the Rockwell chipset fail this
1275          * test, because they apparently don't implement the loopback
1276          * test mode.  So this test is skipped on the COM 1 through
1277          * COM 4 ports.  This *should* be safe, since no board
1278          * manufacturer would be stupid enough to design a board
1279          * that conflicts with COM 1-4 --- we hope!
1280          */
1281         if (!(port->flags & UPF_SKIP_TEST)) {
1282                 serial8250_out_MCR(up, UART_MCR_LOOP | UART_MCR_OUT2 | UART_MCR_RTS);
1283                 status1 = serial_in(up, UART_MSR) & UART_MSR_STATUS_BITS;
1284                 serial8250_out_MCR(up, save_mcr);
1285                 if (status1 != (UART_MSR_DCD | UART_MSR_CTS)) {
1286                         spin_unlock_irqrestore(&port->lock, flags);
1287                         DEBUG_AUTOCONF("LOOP test failed (%02x) ",
1288                                        status1);
1289                         goto out;
1290                 }
1291         }
1292
1293         /*
1294          * We're pretty sure there's a port here.  Lets find out what
1295          * type of port it is.  The IIR top two bits allows us to find
1296          * out if it's 8250 or 16450, 16550, 16550A or later.  This
1297          * determines what we test for next.
1298          *
1299          * We also initialise the EFR (if any) to zero for later.  The
1300          * EFR occupies the same register location as the FCR and IIR.
1301          */
1302         serial_out(up, UART_LCR, UART_LCR_CONF_MODE_B);
1303         serial_out(up, UART_EFR, 0);
1304         serial_out(up, UART_LCR, 0);
1305
1306         serial_out(up, UART_FCR, UART_FCR_ENABLE_FIFO);
1307
1308         switch (serial_in(up, UART_IIR) & UART_IIR_FIFO_ENABLED) {
1309         case UART_IIR_FIFO_ENABLED_8250:
1310                 autoconfig_8250(up);
1311                 break;
1312         case UART_IIR_FIFO_ENABLED_16550:
1313                 port->type = PORT_16550;
1314                 break;
1315         case UART_IIR_FIFO_ENABLED_16550A:
1316                 autoconfig_16550a(up);
1317                 break;
1318         default:
1319                 port->type = PORT_UNKNOWN;
1320                 break;
1321         }
1322
1323 #ifdef CONFIG_SERIAL_8250_RSA
1324         /*
1325          * Only probe for RSA ports if we got the region.
1326          */
1327         if (port->type == PORT_16550A && up->probe & UART_PROBE_RSA &&
1328             __enable_rsa(up))
1329                 port->type = PORT_RSA;
1330 #endif
1331
1332         serial_out(up, UART_LCR, save_lcr);
1333
1334         port->fifosize = uart_config[up->port.type].fifo_size;
1335         old_capabilities = up->capabilities;
1336         up->capabilities = uart_config[port->type].flags;
1337         up->tx_loadsz = uart_config[port->type].tx_loadsz;
1338
1339         if (port->type == PORT_UNKNOWN)
1340                 goto out_unlock;
1341
1342         /*
1343          * Reset the UART.
1344          */
1345 #ifdef CONFIG_SERIAL_8250_RSA
1346         if (port->type == PORT_RSA)
1347                 serial_out(up, UART_RSA_FRR, 0);
1348 #endif
1349         serial8250_out_MCR(up, save_mcr);
1350         serial8250_clear_fifos(up);
1351         serial_in(up, UART_RX);
1352         serial8250_clear_IER(up);
1353
1354 out_unlock:
1355         spin_unlock_irqrestore(&port->lock, flags);
1356
1357         /*
1358          * Check if the device is a Fintek F81216A
1359          */
1360         if (port->type == PORT_16550A && port->iotype == UPIO_PORT)
1361                 fintek_8250_probe(up);
1362
1363         if (up->capabilities != old_capabilities) {
1364                 dev_warn(port->dev, "detected caps %08x should be %08x\n",
1365                          old_capabilities, up->capabilities);
1366         }
1367 out:
1368         DEBUG_AUTOCONF("iir=%d ", scratch);
1369         DEBUG_AUTOCONF("type=%s\n", uart_config[port->type].name);
1370 }
1371
1372 static void autoconfig_irq(struct uart_8250_port *up)
1373 {
1374         struct uart_port *port = &up->port;
1375         unsigned char save_mcr, save_ier;
1376         unsigned char save_ICP = 0;
1377         unsigned int ICP = 0;
1378         unsigned long irqs;
1379         int irq;
1380
1381         if (port->flags & UPF_FOURPORT) {
1382                 ICP = (port->iobase & 0xfe0) | 0x1f;
1383                 save_ICP = inb_p(ICP);
1384                 outb_p(0x80, ICP);
1385                 inb_p(ICP);
1386         }
1387
1388         if (uart_console(port))
1389                 console_lock();
1390
1391         /* forget possible initially masked and pending IRQ */
1392         probe_irq_off(probe_irq_on());
1393         save_mcr = serial8250_in_MCR(up);
1394         save_ier = serial_in(up, UART_IER);
1395         serial8250_out_MCR(up, UART_MCR_OUT1 | UART_MCR_OUT2);
1396
1397         irqs = probe_irq_on();
1398         serial8250_out_MCR(up, 0);
1399         udelay(10);
1400         if (port->flags & UPF_FOURPORT) {
1401                 serial8250_out_MCR(up, UART_MCR_DTR | UART_MCR_RTS);
1402         } else {
1403                 serial8250_out_MCR(up,
1404                         UART_MCR_DTR | UART_MCR_RTS | UART_MCR_OUT2);
1405         }
1406         serial_out(up, UART_IER, UART_IER_ALL_INTR);
1407         serial_in(up, UART_LSR);
1408         serial_in(up, UART_RX);
1409         serial_in(up, UART_IIR);
1410         serial_in(up, UART_MSR);
1411         serial_out(up, UART_TX, 0xFF);
1412         udelay(20);
1413         irq = probe_irq_off(irqs);
1414
1415         serial8250_out_MCR(up, save_mcr);
1416         serial_out(up, UART_IER, save_ier);
1417
1418         if (port->flags & UPF_FOURPORT)
1419                 outb_p(save_ICP, ICP);
1420
1421         if (uart_console(port))
1422                 console_unlock();
1423
1424         port->irq = (irq > 0) ? irq : 0;
1425 }
1426
1427 static void serial8250_stop_rx(struct uart_port *port)
1428 {
1429         struct uart_8250_port *up = up_to_u8250p(port);
1430
1431         serial8250_rpm_get(up);
1432
1433         up->ier &= ~(UART_IER_RLSI | UART_IER_RDI);
1434         up->port.read_status_mask &= ~UART_LSR_DR;
1435         serial_port_out(port, UART_IER, up->ier);
1436
1437         serial8250_rpm_put(up);
1438 }
1439
1440 /**
1441  * serial8250_em485_stop_tx() - generic ->rs485_stop_tx() callback
1442  * @p: uart 8250 port
1443  *
1444  * Generic callback usable by 8250 uart drivers to stop rs485 transmission.
1445  */
1446 void serial8250_em485_stop_tx(struct uart_8250_port *p)
1447 {
1448         unsigned char mcr = serial8250_in_MCR(p);
1449
1450         if (p->port.rs485.flags & SER_RS485_RTS_AFTER_SEND)
1451                 mcr |= UART_MCR_RTS;
1452         else
1453                 mcr &= ~UART_MCR_RTS;
1454         serial8250_out_MCR(p, mcr);
1455
1456         /*
1457          * Empty the RX FIFO, we are not interested in anything
1458          * received during the half-duplex transmission.
1459          * Enable previously disabled RX interrupts.
1460          */
1461         if (!(p->port.rs485.flags & SER_RS485_RX_DURING_TX)) {
1462                 serial8250_clear_and_reinit_fifos(p);
1463
1464                 p->ier |= UART_IER_RLSI | UART_IER_RDI;
1465                 serial_port_out(&p->port, UART_IER, p->ier);
1466         }
1467 }
1468 EXPORT_SYMBOL_GPL(serial8250_em485_stop_tx);
1469
1470 static enum hrtimer_restart serial8250_em485_handle_stop_tx(struct hrtimer *t)
1471 {
1472         struct uart_8250_em485 *em485 = container_of(t, struct uart_8250_em485,
1473                         stop_tx_timer);
1474         struct uart_8250_port *p = em485->port;
1475         unsigned long flags;
1476
1477         serial8250_rpm_get(p);
1478         spin_lock_irqsave(&p->port.lock, flags);
1479         if (em485->active_timer == &em485->stop_tx_timer) {
1480                 p->rs485_stop_tx(p);
1481                 em485->active_timer = NULL;
1482                 em485->tx_stopped = true;
1483         }
1484         spin_unlock_irqrestore(&p->port.lock, flags);
1485         serial8250_rpm_put(p);
1486
1487         return HRTIMER_NORESTART;
1488 }
1489
1490 static void start_hrtimer_ms(struct hrtimer *hrt, unsigned long msec)
1491 {
1492         hrtimer_start(hrt, ms_to_ktime(msec), HRTIMER_MODE_REL);
1493 }
1494
1495 static void __stop_tx_rs485(struct uart_8250_port *p, u64 stop_delay)
1496 {
1497         struct uart_8250_em485 *em485 = p->em485;
1498
1499         stop_delay += (u64)p->port.rs485.delay_rts_after_send * NSEC_PER_MSEC;
1500
1501         /*
1502          * rs485_stop_tx() is going to set RTS according to config
1503          * AND flush RX FIFO if required.
1504          */
1505         if (stop_delay > 0) {
1506                 em485->active_timer = &em485->stop_tx_timer;
1507                 hrtimer_start(&em485->stop_tx_timer, ns_to_ktime(stop_delay), HRTIMER_MODE_REL);
1508         } else {
1509                 p->rs485_stop_tx(p);
1510                 em485->active_timer = NULL;
1511                 em485->tx_stopped = true;
1512         }
1513 }
1514
1515 static inline void __stop_tx(struct uart_8250_port *p)
1516 {
1517         struct uart_8250_em485 *em485 = p->em485;
1518
1519         if (em485) {
1520                 u16 lsr = serial_lsr_in(p);
1521                 u64 stop_delay = 0;
1522
1523                 if (!(lsr & UART_LSR_THRE))
1524                         return;
1525                 /*
1526                  * To provide required timing and allow FIFO transfer,
1527                  * __stop_tx_rs485() must be called only when both FIFO and
1528                  * shift register are empty. The device driver should either
1529                  * enable interrupt on TEMT or set UART_CAP_NOTEMT that will
1530                  * enlarge stop_tx_timer by the tx time of one frame to cover
1531                  * for emptying of the shift register.
1532                  */
1533                 if (!(lsr & UART_LSR_TEMT)) {
1534                         if (!(p->capabilities & UART_CAP_NOTEMT))
1535                                 return;
1536                         /*
1537                          * RTS might get deasserted too early with the normal
1538                          * frame timing formula. It seems to suggest THRE might
1539                          * get asserted already during tx of the stop bit
1540                          * rather than after it is fully sent.
1541                          * Roughly estimate 1 extra bit here with / 7.
1542                          */
1543                         stop_delay = p->port.frame_time + DIV_ROUND_UP(p->port.frame_time, 7);
1544                 }
1545
1546                 __stop_tx_rs485(p, stop_delay);
1547         }
1548
1549         if (serial8250_clear_THRI(p))
1550                 serial8250_rpm_put_tx(p);
1551 }
1552
1553 static void serial8250_stop_tx(struct uart_port *port)
1554 {
1555         struct uart_8250_port *up = up_to_u8250p(port);
1556
1557         serial8250_rpm_get(up);
1558         __stop_tx(up);
1559
1560         /*
1561          * We really want to stop the transmitter from sending.
1562          */
1563         if (port->type == PORT_16C950) {
1564                 up->acr |= UART_ACR_TXDIS;
1565                 serial_icr_write(up, UART_ACR, up->acr);
1566         }
1567         serial8250_rpm_put(up);
1568 }
1569
1570 static inline void __start_tx(struct uart_port *port)
1571 {
1572         struct uart_8250_port *up = up_to_u8250p(port);
1573
1574         if (up->dma && !up->dma->tx_dma(up))
1575                 return;
1576
1577         if (serial8250_set_THRI(up)) {
1578                 if (up->bugs & UART_BUG_TXEN) {
1579                         u16 lsr = serial_lsr_in(up);
1580
1581                         if (lsr & UART_LSR_THRE)
1582                                 serial8250_tx_chars(up);
1583                 }
1584         }
1585
1586         /*
1587          * Re-enable the transmitter if we disabled it.
1588          */
1589         if (port->type == PORT_16C950 && up->acr & UART_ACR_TXDIS) {
1590                 up->acr &= ~UART_ACR_TXDIS;
1591                 serial_icr_write(up, UART_ACR, up->acr);
1592         }
1593 }
1594
1595 /**
1596  * serial8250_em485_start_tx() - generic ->rs485_start_tx() callback
1597  * @up: uart 8250 port
1598  *
1599  * Generic callback usable by 8250 uart drivers to start rs485 transmission.
1600  * Assumes that setting the RTS bit in the MCR register means RTS is high.
1601  * (Some chips use inverse semantics.)  Further assumes that reception is
1602  * stoppable by disabling the UART_IER_RDI interrupt.  (Some chips set the
1603  * UART_LSR_DR bit even when UART_IER_RDI is disabled, foiling this approach.)
1604  */
1605 void serial8250_em485_start_tx(struct uart_8250_port *up)
1606 {
1607         unsigned char mcr = serial8250_in_MCR(up);
1608
1609         if (!(up->port.rs485.flags & SER_RS485_RX_DURING_TX))
1610                 serial8250_stop_rx(&up->port);
1611
1612         if (up->port.rs485.flags & SER_RS485_RTS_ON_SEND)
1613                 mcr |= UART_MCR_RTS;
1614         else
1615                 mcr &= ~UART_MCR_RTS;
1616         serial8250_out_MCR(up, mcr);
1617 }
1618 EXPORT_SYMBOL_GPL(serial8250_em485_start_tx);
1619
1620 /* Returns false, if start_tx_timer was setup to defer TX start */
1621 static bool start_tx_rs485(struct uart_port *port)
1622 {
1623         struct uart_8250_port *up = up_to_u8250p(port);
1624         struct uart_8250_em485 *em485 = up->em485;
1625
1626         /*
1627          * While serial8250_em485_handle_stop_tx() is a noop if
1628          * em485->active_timer != &em485->stop_tx_timer, it might happen that
1629          * the timer is still armed and triggers only after the current bunch of
1630          * chars is send and em485->active_timer == &em485->stop_tx_timer again.
1631          * So cancel the timer. There is still a theoretical race condition if
1632          * the timer is already running and only comes around to check for
1633          * em485->active_timer when &em485->stop_tx_timer is armed again.
1634          */
1635         if (em485->active_timer == &em485->stop_tx_timer)
1636                 hrtimer_try_to_cancel(&em485->stop_tx_timer);
1637
1638         em485->active_timer = NULL;
1639
1640         if (em485->tx_stopped) {
1641                 em485->tx_stopped = false;
1642
1643                 up->rs485_start_tx(up);
1644
1645                 if (up->port.rs485.delay_rts_before_send > 0) {
1646                         em485->active_timer = &em485->start_tx_timer;
1647                         start_hrtimer_ms(&em485->start_tx_timer,
1648                                          up->port.rs485.delay_rts_before_send);
1649                         return false;
1650                 }
1651         }
1652
1653         return true;
1654 }
1655
1656 static enum hrtimer_restart serial8250_em485_handle_start_tx(struct hrtimer *t)
1657 {
1658         struct uart_8250_em485 *em485 = container_of(t, struct uart_8250_em485,
1659                         start_tx_timer);
1660         struct uart_8250_port *p = em485->port;
1661         unsigned long flags;
1662
1663         spin_lock_irqsave(&p->port.lock, flags);
1664         if (em485->active_timer == &em485->start_tx_timer) {
1665                 __start_tx(&p->port);
1666                 em485->active_timer = NULL;
1667         }
1668         spin_unlock_irqrestore(&p->port.lock, flags);
1669
1670         return HRTIMER_NORESTART;
1671 }
1672
1673 static void serial8250_start_tx(struct uart_port *port)
1674 {
1675         struct uart_8250_port *up = up_to_u8250p(port);
1676         struct uart_8250_em485 *em485 = up->em485;
1677
1678         if (!port->x_char && uart_circ_empty(&port->state->xmit))
1679                 return;
1680
1681         serial8250_rpm_get_tx(up);
1682
1683         if (em485) {
1684                 if ((em485->active_timer == &em485->start_tx_timer) ||
1685                     !start_tx_rs485(port))
1686                         return;
1687         }
1688         __start_tx(port);
1689 }
1690
1691 static void serial8250_throttle(struct uart_port *port)
1692 {
1693         port->throttle(port);
1694 }
1695
1696 static void serial8250_unthrottle(struct uart_port *port)
1697 {
1698         port->unthrottle(port);
1699 }
1700
1701 static void serial8250_disable_ms(struct uart_port *port)
1702 {
1703         struct uart_8250_port *up = up_to_u8250p(port);
1704
1705         /* no MSR capabilities */
1706         if (up->bugs & UART_BUG_NOMSR)
1707                 return;
1708
1709         mctrl_gpio_disable_ms(up->gpios);
1710
1711         up->ier &= ~UART_IER_MSI;
1712         serial_port_out(port, UART_IER, up->ier);
1713 }
1714
1715 static void serial8250_enable_ms(struct uart_port *port)
1716 {
1717         struct uart_8250_port *up = up_to_u8250p(port);
1718
1719         /* no MSR capabilities */
1720         if (up->bugs & UART_BUG_NOMSR)
1721                 return;
1722
1723         mctrl_gpio_enable_ms(up->gpios);
1724
1725         up->ier |= UART_IER_MSI;
1726
1727         serial8250_rpm_get(up);
1728         serial_port_out(port, UART_IER, up->ier);
1729         serial8250_rpm_put(up);
1730 }
1731
1732 void serial8250_read_char(struct uart_8250_port *up, u16 lsr)
1733 {
1734         struct uart_port *port = &up->port;
1735         unsigned char ch;
1736         char flag = TTY_NORMAL;
1737
1738         if (likely(lsr & UART_LSR_DR))
1739                 ch = serial_in(up, UART_RX);
1740         else
1741                 /*
1742                  * Intel 82571 has a Serial Over Lan device that will
1743                  * set UART_LSR_BI without setting UART_LSR_DR when
1744                  * it receives a break. To avoid reading from the
1745                  * receive buffer without UART_LSR_DR bit set, we
1746                  * just force the read character to be 0
1747                  */
1748                 ch = 0;
1749
1750         port->icount.rx++;
1751
1752         lsr |= up->lsr_saved_flags;
1753         up->lsr_saved_flags = 0;
1754
1755         if (unlikely(lsr & UART_LSR_BRK_ERROR_BITS)) {
1756                 if (lsr & UART_LSR_BI) {
1757                         lsr &= ~(UART_LSR_FE | UART_LSR_PE);
1758                         port->icount.brk++;
1759                         /*
1760                          * We do the SysRQ and SAK checking
1761                          * here because otherwise the break
1762                          * may get masked by ignore_status_mask
1763                          * or read_status_mask.
1764                          */
1765                         if (uart_handle_break(port))
1766                                 return;
1767                 } else if (lsr & UART_LSR_PE)
1768                         port->icount.parity++;
1769                 else if (lsr & UART_LSR_FE)
1770                         port->icount.frame++;
1771                 if (lsr & UART_LSR_OE)
1772                         port->icount.overrun++;
1773
1774                 /*
1775                  * Mask off conditions which should be ignored.
1776                  */
1777                 lsr &= port->read_status_mask;
1778
1779                 if (lsr & UART_LSR_BI) {
1780                         dev_dbg(port->dev, "handling break\n");
1781                         flag = TTY_BREAK;
1782                 } else if (lsr & UART_LSR_PE)
1783                         flag = TTY_PARITY;
1784                 else if (lsr & UART_LSR_FE)
1785                         flag = TTY_FRAME;
1786         }
1787         if (uart_prepare_sysrq_char(port, ch))
1788                 return;
1789
1790         uart_insert_char(port, lsr, UART_LSR_OE, ch, flag);
1791 }
1792 EXPORT_SYMBOL_GPL(serial8250_read_char);
1793
1794 /*
1795  * serial8250_rx_chars - Read characters. The first LSR value must be passed in.
1796  *
1797  * Returns LSR bits. The caller should rely only on non-Rx related LSR bits
1798  * (such as THRE) because the LSR value might come from an already consumed
1799  * character.
1800  */
1801 u16 serial8250_rx_chars(struct uart_8250_port *up, u16 lsr)
1802 {
1803         struct uart_port *port = &up->port;
1804         int max_count = 256;
1805
1806         do {
1807                 serial8250_read_char(up, lsr);
1808                 if (--max_count == 0)
1809                         break;
1810                 lsr = serial_in(up, UART_LSR);
1811         } while (lsr & (UART_LSR_DR | UART_LSR_BI));
1812
1813         tty_flip_buffer_push(&port->state->port);
1814         return lsr;
1815 }
1816 EXPORT_SYMBOL_GPL(serial8250_rx_chars);
1817
1818 void serial8250_tx_chars(struct uart_8250_port *up)
1819 {
1820         struct uart_port *port = &up->port;
1821         struct circ_buf *xmit = &port->state->xmit;
1822         int count;
1823
1824         if (port->x_char) {
1825                 uart_xchar_out(port, UART_TX);
1826                 return;
1827         }
1828         if (uart_tx_stopped(port)) {
1829                 serial8250_stop_tx(port);
1830                 return;
1831         }
1832         if (uart_circ_empty(xmit)) {
1833                 __stop_tx(up);
1834                 return;
1835         }
1836
1837         count = up->tx_loadsz;
1838         do {
1839                 serial_out(up, UART_TX, xmit->buf[xmit->tail]);
1840                 if (up->bugs & UART_BUG_TXRACE) {
1841                         /*
1842                          * The Aspeed BMC virtual UARTs have a bug where data
1843                          * may get stuck in the BMC's Tx FIFO from bursts of
1844                          * writes on the APB interface.
1845                          *
1846                          * Delay back-to-back writes by a read cycle to avoid
1847                          * stalling the VUART. Read a register that won't have
1848                          * side-effects and discard the result.
1849                          */
1850                         serial_in(up, UART_SCR);
1851                 }
1852                 uart_xmit_advance(port, 1);
1853                 if (uart_circ_empty(xmit))
1854                         break;
1855                 if ((up->capabilities & UART_CAP_HFIFO) &&
1856                     !uart_lsr_tx_empty(serial_in(up, UART_LSR)))
1857                         break;
1858                 /* The BCM2835 MINI UART THRE bit is really a not-full bit. */
1859                 if ((up->capabilities & UART_CAP_MINI) &&
1860                     !(serial_in(up, UART_LSR) & UART_LSR_THRE))
1861                         break;
1862         } while (--count > 0);
1863
1864         if (uart_circ_chars_pending(xmit) < WAKEUP_CHARS)
1865                 uart_write_wakeup(port);
1866
1867         /*
1868          * With RPM enabled, we have to wait until the FIFO is empty before the
1869          * HW can go idle. So we get here once again with empty FIFO and disable
1870          * the interrupt and RPM in __stop_tx()
1871          */
1872         if (uart_circ_empty(xmit) && !(up->capabilities & UART_CAP_RPM))
1873                 __stop_tx(up);
1874 }
1875 EXPORT_SYMBOL_GPL(serial8250_tx_chars);
1876
1877 /* Caller holds uart port lock */
1878 unsigned int serial8250_modem_status(struct uart_8250_port *up)
1879 {
1880         struct uart_port *port = &up->port;
1881         unsigned int status = serial_in(up, UART_MSR);
1882
1883         status |= up->msr_saved_flags;
1884         up->msr_saved_flags = 0;
1885         if (status & UART_MSR_ANY_DELTA && up->ier & UART_IER_MSI &&
1886             port->state != NULL) {
1887                 if (status & UART_MSR_TERI)
1888                         port->icount.rng++;
1889                 if (status & UART_MSR_DDSR)
1890                         port->icount.dsr++;
1891                 if (status & UART_MSR_DDCD)
1892                         uart_handle_dcd_change(port, status & UART_MSR_DCD);
1893                 if (status & UART_MSR_DCTS)
1894                         uart_handle_cts_change(port, status & UART_MSR_CTS);
1895
1896                 wake_up_interruptible(&port->state->port.delta_msr_wait);
1897         }
1898
1899         return status;
1900 }
1901 EXPORT_SYMBOL_GPL(serial8250_modem_status);
1902
1903 static bool handle_rx_dma(struct uart_8250_port *up, unsigned int iir)
1904 {
1905         switch (iir & 0x3f) {
1906         case UART_IIR_THRI:
1907                 /*
1908                  * Postpone DMA or not decision to IIR_RDI or IIR_RX_TIMEOUT
1909                  * because it's impossible to do an informed decision about
1910                  * that with IIR_THRI.
1911                  *
1912                  * This also fixes one known DMA Rx corruption issue where
1913                  * DR is asserted but DMA Rx only gets a corrupted zero byte
1914                  * (too early DR?).
1915                  */
1916                 return false;
1917         case UART_IIR_RDI:
1918                 if (!up->dma->rx_running)
1919                         break;
1920                 fallthrough;
1921         case UART_IIR_RLSI:
1922         case UART_IIR_RX_TIMEOUT:
1923                 serial8250_rx_dma_flush(up);
1924                 return true;
1925         }
1926         return up->dma->rx_dma(up);
1927 }
1928
1929 /*
1930  * This handles the interrupt from one port.
1931  */
1932 int serial8250_handle_irq(struct uart_port *port, unsigned int iir)
1933 {
1934         struct uart_8250_port *up = up_to_u8250p(port);
1935         bool skip_rx = false;
1936         unsigned long flags;
1937         u16 status;
1938
1939         if (iir & UART_IIR_NO_INT)
1940                 return 0;
1941
1942         spin_lock_irqsave(&port->lock, flags);
1943
1944         status = serial_lsr_in(up);
1945
1946         /*
1947          * If port is stopped and there are no error conditions in the
1948          * FIFO, then don't drain the FIFO, as this may lead to TTY buffer
1949          * overflow. Not servicing, RX FIFO would trigger auto HW flow
1950          * control when FIFO occupancy reaches preset threshold, thus
1951          * halting RX. This only works when auto HW flow control is
1952          * available.
1953          */
1954         if (!(status & (UART_LSR_FIFOE | UART_LSR_BRK_ERROR_BITS)) &&
1955             (port->status & (UPSTAT_AUTOCTS | UPSTAT_AUTORTS)) &&
1956             !(port->read_status_mask & UART_LSR_DR))
1957                 skip_rx = true;
1958
1959         if (status & (UART_LSR_DR | UART_LSR_BI) && !skip_rx) {
1960                 if (!up->dma || handle_rx_dma(up, iir))
1961                         status = serial8250_rx_chars(up, status);
1962         }
1963         serial8250_modem_status(up);
1964         if ((status & UART_LSR_THRE) && (up->ier & UART_IER_THRI)) {
1965                 if (!up->dma || up->dma->tx_err)
1966                         serial8250_tx_chars(up);
1967                 else if (!up->dma->tx_running)
1968                         __stop_tx(up);
1969         }
1970
1971         uart_unlock_and_check_sysrq_irqrestore(port, flags);
1972
1973         return 1;
1974 }
1975 EXPORT_SYMBOL_GPL(serial8250_handle_irq);
1976
1977 static int serial8250_default_handle_irq(struct uart_port *port)
1978 {
1979         struct uart_8250_port *up = up_to_u8250p(port);
1980         unsigned int iir;
1981         int ret;
1982
1983         serial8250_rpm_get(up);
1984
1985         iir = serial_port_in(port, UART_IIR);
1986         ret = serial8250_handle_irq(port, iir);
1987
1988         serial8250_rpm_put(up);
1989         return ret;
1990 }
1991
1992 /*
1993  * Newer 16550 compatible parts such as the SC16C650 & Altera 16550 Soft IP
1994  * have a programmable TX threshold that triggers the THRE interrupt in
1995  * the IIR register. In this case, the THRE interrupt indicates the FIFO
1996  * has space available. Load it up with tx_loadsz bytes.
1997  */
1998 static int serial8250_tx_threshold_handle_irq(struct uart_port *port)
1999 {
2000         unsigned long flags;
2001         unsigned int iir = serial_port_in(port, UART_IIR);
2002
2003         /* TX Threshold IRQ triggered so load up FIFO */
2004         if ((iir & UART_IIR_ID) == UART_IIR_THRI) {
2005                 struct uart_8250_port *up = up_to_u8250p(port);
2006
2007                 spin_lock_irqsave(&port->lock, flags);
2008                 serial8250_tx_chars(up);
2009                 spin_unlock_irqrestore(&port->lock, flags);
2010         }
2011
2012         iir = serial_port_in(port, UART_IIR);
2013         return serial8250_handle_irq(port, iir);
2014 }
2015
2016 static unsigned int serial8250_tx_empty(struct uart_port *port)
2017 {
2018         struct uart_8250_port *up = up_to_u8250p(port);
2019         unsigned int result = 0;
2020         unsigned long flags;
2021
2022         serial8250_rpm_get(up);
2023
2024         spin_lock_irqsave(&port->lock, flags);
2025         if (!serial8250_tx_dma_running(up) && uart_lsr_tx_empty(serial_lsr_in(up)))
2026                 result = TIOCSER_TEMT;
2027         spin_unlock_irqrestore(&port->lock, flags);
2028
2029         serial8250_rpm_put(up);
2030
2031         return result;
2032 }
2033
2034 unsigned int serial8250_do_get_mctrl(struct uart_port *port)
2035 {
2036         struct uart_8250_port *up = up_to_u8250p(port);
2037         unsigned int status;
2038         unsigned int val;
2039
2040         serial8250_rpm_get(up);
2041         status = serial8250_modem_status(up);
2042         serial8250_rpm_put(up);
2043
2044         val = serial8250_MSR_to_TIOCM(status);
2045         if (up->gpios)
2046                 return mctrl_gpio_get(up->gpios, &val);
2047
2048         return val;
2049 }
2050 EXPORT_SYMBOL_GPL(serial8250_do_get_mctrl);
2051
2052 static unsigned int serial8250_get_mctrl(struct uart_port *port)
2053 {
2054         if (port->get_mctrl)
2055                 return port->get_mctrl(port);
2056         return serial8250_do_get_mctrl(port);
2057 }
2058
2059 void serial8250_do_set_mctrl(struct uart_port *port, unsigned int mctrl)
2060 {
2061         struct uart_8250_port *up = up_to_u8250p(port);
2062         unsigned char mcr;
2063
2064         mcr = serial8250_TIOCM_to_MCR(mctrl);
2065
2066         mcr |= up->mcr;
2067
2068         serial8250_out_MCR(up, mcr);
2069 }
2070 EXPORT_SYMBOL_GPL(serial8250_do_set_mctrl);
2071
2072 static void serial8250_set_mctrl(struct uart_port *port, unsigned int mctrl)
2073 {
2074         if (port->rs485.flags & SER_RS485_ENABLED)
2075                 return;
2076
2077         if (port->set_mctrl)
2078                 port->set_mctrl(port, mctrl);
2079         else
2080                 serial8250_do_set_mctrl(port, mctrl);
2081 }
2082
2083 static void serial8250_break_ctl(struct uart_port *port, int break_state)
2084 {
2085         struct uart_8250_port *up = up_to_u8250p(port);
2086         unsigned long flags;
2087
2088         serial8250_rpm_get(up);
2089         spin_lock_irqsave(&port->lock, flags);
2090         if (break_state == -1)
2091                 up->lcr |= UART_LCR_SBC;
2092         else
2093                 up->lcr &= ~UART_LCR_SBC;
2094         serial_port_out(port, UART_LCR, up->lcr);
2095         spin_unlock_irqrestore(&port->lock, flags);
2096         serial8250_rpm_put(up);
2097 }
2098
2099 static void wait_for_lsr(struct uart_8250_port *up, int bits)
2100 {
2101         unsigned int status, tmout = 10000;
2102
2103         /* Wait up to 10ms for the character(s) to be sent. */
2104         for (;;) {
2105                 status = serial_lsr_in(up);
2106
2107                 if ((status & bits) == bits)
2108                         break;
2109                 if (--tmout == 0)
2110                         break;
2111                 udelay(1);
2112                 touch_nmi_watchdog();
2113         }
2114 }
2115
2116 /*
2117  *      Wait for transmitter & holding register to empty
2118  */
2119 static void wait_for_xmitr(struct uart_8250_port *up, int bits)
2120 {
2121         unsigned int tmout;
2122
2123         wait_for_lsr(up, bits);
2124
2125         /* Wait up to 1s for flow control if necessary */
2126         if (up->port.flags & UPF_CONS_FLOW) {
2127                 for (tmout = 1000000; tmout; tmout--) {
2128                         unsigned int msr = serial_in(up, UART_MSR);
2129                         up->msr_saved_flags |= msr & MSR_SAVE_FLAGS;
2130                         if (msr & UART_MSR_CTS)
2131                                 break;
2132                         udelay(1);
2133                         touch_nmi_watchdog();
2134                 }
2135         }
2136 }
2137
2138 #ifdef CONFIG_CONSOLE_POLL
2139 /*
2140  * Console polling routines for writing and reading from the uart while
2141  * in an interrupt or debug context.
2142  */
2143
2144 static int serial8250_get_poll_char(struct uart_port *port)
2145 {
2146         struct uart_8250_port *up = up_to_u8250p(port);
2147         int status;
2148         u16 lsr;
2149
2150         serial8250_rpm_get(up);
2151
2152         lsr = serial_port_in(port, UART_LSR);
2153
2154         if (!(lsr & UART_LSR_DR)) {
2155                 status = NO_POLL_CHAR;
2156                 goto out;
2157         }
2158
2159         status = serial_port_in(port, UART_RX);
2160 out:
2161         serial8250_rpm_put(up);
2162         return status;
2163 }
2164
2165
2166 static void serial8250_put_poll_char(struct uart_port *port,
2167                          unsigned char c)
2168 {
2169         unsigned int ier;
2170         struct uart_8250_port *up = up_to_u8250p(port);
2171
2172         serial8250_rpm_get(up);
2173         /*
2174          *      First save the IER then disable the interrupts
2175          */
2176         ier = serial_port_in(port, UART_IER);
2177         serial8250_clear_IER(up);
2178
2179         wait_for_xmitr(up, UART_LSR_BOTH_EMPTY);
2180         /*
2181          *      Send the character out.
2182          */
2183         serial_port_out(port, UART_TX, c);
2184
2185         /*
2186          *      Finally, wait for transmitter to become empty
2187          *      and restore the IER
2188          */
2189         wait_for_xmitr(up, UART_LSR_BOTH_EMPTY);
2190         serial_port_out(port, UART_IER, ier);
2191         serial8250_rpm_put(up);
2192 }
2193
2194 #endif /* CONFIG_CONSOLE_POLL */
2195
2196 int serial8250_do_startup(struct uart_port *port)
2197 {
2198         struct uart_8250_port *up = up_to_u8250p(port);
2199         unsigned long flags;
2200         unsigned char iir;
2201         int retval;
2202         u16 lsr;
2203
2204         if (!port->fifosize)
2205                 port->fifosize = uart_config[port->type].fifo_size;
2206         if (!up->tx_loadsz)
2207                 up->tx_loadsz = uart_config[port->type].tx_loadsz;
2208         if (!up->capabilities)
2209                 up->capabilities = uart_config[port->type].flags;
2210         up->mcr = 0;
2211
2212         if (port->iotype != up->cur_iotype)
2213                 set_io_from_upio(port);
2214
2215         serial8250_rpm_get(up);
2216         if (port->type == PORT_16C950) {
2217                 /* Wake up and initialize UART */
2218                 up->acr = 0;
2219                 serial_port_out(port, UART_LCR, UART_LCR_CONF_MODE_B);
2220                 serial_port_out(port, UART_EFR, UART_EFR_ECB);
2221                 serial_port_out(port, UART_IER, 0);
2222                 serial_port_out(port, UART_LCR, 0);
2223                 serial_icr_write(up, UART_CSR, 0); /* Reset the UART */
2224                 serial_port_out(port, UART_LCR, UART_LCR_CONF_MODE_B);
2225                 serial_port_out(port, UART_EFR, UART_EFR_ECB);
2226                 serial_port_out(port, UART_LCR, 0);
2227         }
2228
2229         if (port->type == PORT_DA830) {
2230                 /* Reset the port */
2231                 serial_port_out(port, UART_IER, 0);
2232                 serial_port_out(port, UART_DA830_PWREMU_MGMT, 0);
2233                 mdelay(10);
2234
2235                 /* Enable Tx, Rx and free run mode */
2236                 serial_port_out(port, UART_DA830_PWREMU_MGMT,
2237                                 UART_DA830_PWREMU_MGMT_UTRST |
2238                                 UART_DA830_PWREMU_MGMT_URRST |
2239                                 UART_DA830_PWREMU_MGMT_FREE);
2240         }
2241
2242         if (port->type == PORT_NPCM) {
2243                 /*
2244                  * Nuvoton calls the scratch register 'UART_TOR' (timeout
2245                  * register). Enable it, and set TIOC (timeout interrupt
2246                  * comparator) to be 0x20 for correct operation.
2247                  */
2248                 serial_port_out(port, UART_NPCM_TOR, UART_NPCM_TOIE | 0x20);
2249         }
2250
2251 #ifdef CONFIG_SERIAL_8250_RSA
2252         /*
2253          * If this is an RSA port, see if we can kick it up to the
2254          * higher speed clock.
2255          */
2256         enable_rsa(up);
2257 #endif
2258
2259         /*
2260          * Clear the FIFO buffers and disable them.
2261          * (they will be reenabled in set_termios())
2262          */
2263         serial8250_clear_fifos(up);
2264
2265         /*
2266          * Clear the interrupt registers.
2267          */
2268         serial_port_in(port, UART_LSR);
2269         serial_port_in(port, UART_RX);
2270         serial_port_in(port, UART_IIR);
2271         serial_port_in(port, UART_MSR);
2272
2273         /*
2274          * At this point, there's no way the LSR could still be 0xff;
2275          * if it is, then bail out, because there's likely no UART
2276          * here.
2277          */
2278         if (!(port->flags & UPF_BUGGY_UART) &&
2279             (serial_port_in(port, UART_LSR) == 0xff)) {
2280                 dev_info_ratelimited(port->dev, "LSR safety check engaged!\n");
2281                 retval = -ENODEV;
2282                 goto out;
2283         }
2284
2285         /*
2286          * For a XR16C850, we need to set the trigger levels
2287          */
2288         if (port->type == PORT_16850) {
2289                 unsigned char fctr;
2290
2291                 serial_out(up, UART_LCR, UART_LCR_CONF_MODE_B);
2292
2293                 fctr = serial_in(up, UART_FCTR) & ~(UART_FCTR_RX|UART_FCTR_TX);
2294                 serial_port_out(port, UART_FCTR,
2295                                 fctr | UART_FCTR_TRGD | UART_FCTR_RX);
2296                 serial_port_out(port, UART_TRG, UART_TRG_96);
2297                 serial_port_out(port, UART_FCTR,
2298                                 fctr | UART_FCTR_TRGD | UART_FCTR_TX);
2299                 serial_port_out(port, UART_TRG, UART_TRG_96);
2300
2301                 serial_port_out(port, UART_LCR, 0);
2302         }
2303
2304         /*
2305          * For the Altera 16550 variants, set TX threshold trigger level.
2306          */
2307         if (((port->type == PORT_ALTR_16550_F32) ||
2308              (port->type == PORT_ALTR_16550_F64) ||
2309              (port->type == PORT_ALTR_16550_F128)) && (port->fifosize > 1)) {
2310                 /* Bounds checking of TX threshold (valid 0 to fifosize-2) */
2311                 if ((up->tx_loadsz < 2) || (up->tx_loadsz > port->fifosize)) {
2312                         dev_err(port->dev, "TX FIFO Threshold errors, skipping\n");
2313                 } else {
2314                         serial_port_out(port, UART_ALTR_AFR,
2315                                         UART_ALTR_EN_TXFIFO_LW);
2316                         serial_port_out(port, UART_ALTR_TX_LOW,
2317                                         port->fifosize - up->tx_loadsz);
2318                         port->handle_irq = serial8250_tx_threshold_handle_irq;
2319                 }
2320         }
2321
2322         /* Check if we need to have shared IRQs */
2323         if (port->irq && (up->port.flags & UPF_SHARE_IRQ))
2324                 up->port.irqflags |= IRQF_SHARED;
2325
2326         retval = up->ops->setup_irq(up);
2327         if (retval)
2328                 goto out;
2329
2330         if (port->irq && !(up->port.flags & UPF_NO_THRE_TEST)) {
2331                 unsigned char iir1;
2332
2333                 if (port->irqflags & IRQF_SHARED)
2334                         disable_irq_nosync(port->irq);
2335
2336                 /*
2337                  * Test for UARTs that do not reassert THRE when the
2338                  * transmitter is idle and the interrupt has already
2339                  * been cleared.  Real 16550s should always reassert
2340                  * this interrupt whenever the transmitter is idle and
2341                  * the interrupt is enabled.  Delays are necessary to
2342                  * allow register changes to become visible.
2343                  */
2344                 spin_lock_irqsave(&port->lock, flags);
2345
2346                 wait_for_xmitr(up, UART_LSR_THRE);
2347                 serial_port_out_sync(port, UART_IER, UART_IER_THRI);
2348                 udelay(1); /* allow THRE to set */
2349                 iir1 = serial_port_in(port, UART_IIR);
2350                 serial_port_out(port, UART_IER, 0);
2351                 serial_port_out_sync(port, UART_IER, UART_IER_THRI);
2352                 udelay(1); /* allow a working UART time to re-assert THRE */
2353                 iir = serial_port_in(port, UART_IIR);
2354                 serial_port_out(port, UART_IER, 0);
2355
2356                 spin_unlock_irqrestore(&port->lock, flags);
2357
2358                 if (port->irqflags & IRQF_SHARED)
2359                         enable_irq(port->irq);
2360
2361                 /*
2362                  * If the interrupt is not reasserted, or we otherwise
2363                  * don't trust the iir, setup a timer to kick the UART
2364                  * on a regular basis.
2365                  */
2366                 if ((!(iir1 & UART_IIR_NO_INT) && (iir & UART_IIR_NO_INT)) ||
2367                     up->port.flags & UPF_BUG_THRE) {
2368                         up->bugs |= UART_BUG_THRE;
2369                 }
2370         }
2371
2372         up->ops->setup_timer(up);
2373
2374         /*
2375          * Now, initialize the UART
2376          */
2377         serial_port_out(port, UART_LCR, UART_LCR_WLEN8);
2378
2379         spin_lock_irqsave(&port->lock, flags);
2380         if (up->port.flags & UPF_FOURPORT) {
2381                 if (!up->port.irq)
2382                         up->port.mctrl |= TIOCM_OUT1;
2383         } else
2384                 /*
2385                  * Most PC uarts need OUT2 raised to enable interrupts.
2386                  */
2387                 if (port->irq)
2388                         up->port.mctrl |= TIOCM_OUT2;
2389
2390         serial8250_set_mctrl(port, port->mctrl);
2391
2392         /*
2393          * Serial over Lan (SoL) hack:
2394          * Intel 8257x Gigabit ethernet chips have a 16550 emulation, to be
2395          * used for Serial Over Lan.  Those chips take a longer time than a
2396          * normal serial device to signalize that a transmission data was
2397          * queued. Due to that, the above test generally fails. One solution
2398          * would be to delay the reading of iir. However, this is not
2399          * reliable, since the timeout is variable. So, let's just don't
2400          * test if we receive TX irq.  This way, we'll never enable
2401          * UART_BUG_TXEN.
2402          */
2403         if (up->port.quirks & UPQ_NO_TXEN_TEST)
2404                 goto dont_test_tx_en;
2405
2406         /*
2407          * Do a quick test to see if we receive an interrupt when we enable
2408          * the TX irq.
2409          */
2410         serial_port_out(port, UART_IER, UART_IER_THRI);
2411         lsr = serial_port_in(port, UART_LSR);
2412         iir = serial_port_in(port, UART_IIR);
2413         serial_port_out(port, UART_IER, 0);
2414
2415         if (lsr & UART_LSR_TEMT && iir & UART_IIR_NO_INT) {
2416                 if (!(up->bugs & UART_BUG_TXEN)) {
2417                         up->bugs |= UART_BUG_TXEN;
2418                         dev_dbg(port->dev, "enabling bad tx status workarounds\n");
2419                 }
2420         } else {
2421                 up->bugs &= ~UART_BUG_TXEN;
2422         }
2423
2424 dont_test_tx_en:
2425         spin_unlock_irqrestore(&port->lock, flags);
2426
2427         /*
2428          * Clear the interrupt registers again for luck, and clear the
2429          * saved flags to avoid getting false values from polling
2430          * routines or the previous session.
2431          */
2432         serial_port_in(port, UART_LSR);
2433         serial_port_in(port, UART_RX);
2434         serial_port_in(port, UART_IIR);
2435         serial_port_in(port, UART_MSR);
2436         up->lsr_saved_flags = 0;
2437         up->msr_saved_flags = 0;
2438
2439         /*
2440          * Request DMA channels for both RX and TX.
2441          */
2442         if (up->dma) {
2443                 const char *msg = NULL;
2444
2445                 if (uart_console(port))
2446                         msg = "forbid DMA for kernel console";
2447                 else if (serial8250_request_dma(up))
2448                         msg = "failed to request DMA";
2449                 if (msg) {
2450                         dev_warn_ratelimited(port->dev, "%s\n", msg);
2451                         up->dma = NULL;
2452                 }
2453         }
2454
2455         /*
2456          * Set the IER shadow for rx interrupts but defer actual interrupt
2457          * enable until after the FIFOs are enabled; otherwise, an already-
2458          * active sender can swamp the interrupt handler with "too much work".
2459          */
2460         up->ier = UART_IER_RLSI | UART_IER_RDI;
2461
2462         if (port->flags & UPF_FOURPORT) {
2463                 unsigned int icp;
2464                 /*
2465                  * Enable interrupts on the AST Fourport board
2466                  */
2467                 icp = (port->iobase & 0xfe0) | 0x01f;
2468                 outb_p(0x80, icp);
2469                 inb_p(icp);
2470         }
2471         retval = 0;
2472 out:
2473         serial8250_rpm_put(up);
2474         return retval;
2475 }
2476 EXPORT_SYMBOL_GPL(serial8250_do_startup);
2477
2478 static int serial8250_startup(struct uart_port *port)
2479 {
2480         if (port->startup)
2481                 return port->startup(port);
2482         return serial8250_do_startup(port);
2483 }
2484
2485 void serial8250_do_shutdown(struct uart_port *port)
2486 {
2487         struct uart_8250_port *up = up_to_u8250p(port);
2488         unsigned long flags;
2489
2490         serial8250_rpm_get(up);
2491         /*
2492          * Disable interrupts from this port
2493          */
2494         spin_lock_irqsave(&port->lock, flags);
2495         up->ier = 0;
2496         serial_port_out(port, UART_IER, 0);
2497         spin_unlock_irqrestore(&port->lock, flags);
2498
2499         synchronize_irq(port->irq);
2500
2501         if (up->dma)
2502                 serial8250_release_dma(up);
2503
2504         spin_lock_irqsave(&port->lock, flags);
2505         if (port->flags & UPF_FOURPORT) {
2506                 /* reset interrupts on the AST Fourport board */
2507                 inb((port->iobase & 0xfe0) | 0x1f);
2508                 port->mctrl |= TIOCM_OUT1;
2509         } else
2510                 port->mctrl &= ~TIOCM_OUT2;
2511
2512         serial8250_set_mctrl(port, port->mctrl);
2513         spin_unlock_irqrestore(&port->lock, flags);
2514
2515         /*
2516          * Disable break condition and FIFOs
2517          */
2518         serial_port_out(port, UART_LCR,
2519                         serial_port_in(port, UART_LCR) & ~UART_LCR_SBC);
2520         serial8250_clear_fifos(up);
2521
2522 #ifdef CONFIG_SERIAL_8250_RSA
2523         /*
2524          * Reset the RSA board back to 115kbps compat mode.
2525          */
2526         disable_rsa(up);
2527 #endif
2528
2529         /*
2530          * Read data port to reset things, and then unlink from
2531          * the IRQ chain.
2532          */
2533         serial_port_in(port, UART_RX);
2534         serial8250_rpm_put(up);
2535
2536         up->ops->release_irq(up);
2537 }
2538 EXPORT_SYMBOL_GPL(serial8250_do_shutdown);
2539
2540 static void serial8250_shutdown(struct uart_port *port)
2541 {
2542         if (port->shutdown)
2543                 port->shutdown(port);
2544         else
2545                 serial8250_do_shutdown(port);
2546 }
2547
2548 /* Nuvoton NPCM UARTs have a custom divisor calculation */
2549 static unsigned int npcm_get_divisor(struct uart_8250_port *up,
2550                 unsigned int baud)
2551 {
2552         struct uart_port *port = &up->port;
2553
2554         return DIV_ROUND_CLOSEST(port->uartclk, 16 * baud + 2) - 2;
2555 }
2556
2557 static unsigned int serial8250_do_get_divisor(struct uart_port *port,
2558                                               unsigned int baud,
2559                                               unsigned int *frac)
2560 {
2561         upf_t magic_multiplier = port->flags & UPF_MAGIC_MULTIPLIER;
2562         struct uart_8250_port *up = up_to_u8250p(port);
2563         unsigned int quot;
2564
2565         /*
2566          * Handle magic divisors for baud rates above baud_base on SMSC
2567          * Super I/O chips.  We clamp custom rates from clk/6 and clk/12
2568          * up to clk/4 (0x8001) and clk/8 (0x8002) respectively.  These
2569          * magic divisors actually reprogram the baud rate generator's
2570          * reference clock derived from chips's 14.318MHz clock input.
2571          *
2572          * Documentation claims that with these magic divisors the base
2573          * frequencies of 7.3728MHz and 3.6864MHz are used respectively
2574          * for the extra baud rates of 460800bps and 230400bps rather
2575          * than the usual base frequency of 1.8462MHz.  However empirical
2576          * evidence contradicts that.
2577          *
2578          * Instead bit 7 of the DLM register (bit 15 of the divisor) is
2579          * effectively used as a clock prescaler selection bit for the
2580          * base frequency of 7.3728MHz, always used.  If set to 0, then
2581          * the base frequency is divided by 4 for use by the Baud Rate
2582          * Generator, for the usual arrangement where the value of 1 of
2583          * the divisor produces the baud rate of 115200bps.  Conversely,
2584          * if set to 1 and high-speed operation has been enabled with the
2585          * Serial Port Mode Register in the Device Configuration Space,
2586          * then the base frequency is supplied directly to the Baud Rate
2587          * Generator, so for the divisor values of 0x8001, 0x8002, 0x8003,
2588          * 0x8004, etc. the respective baud rates produced are 460800bps,
2589          * 230400bps, 153600bps, 115200bps, etc.
2590          *
2591          * In all cases only low 15 bits of the divisor are used to divide
2592          * the baud base and therefore 32767 is the maximum divisor value
2593          * possible, even though documentation says that the programmable
2594          * Baud Rate Generator is capable of dividing the internal PLL
2595          * clock by any divisor from 1 to 65535.
2596          */
2597         if (magic_multiplier && baud >= port->uartclk / 6)
2598                 quot = 0x8001;
2599         else if (magic_multiplier && baud >= port->uartclk / 12)
2600                 quot = 0x8002;
2601         else if (up->port.type == PORT_NPCM)
2602                 quot = npcm_get_divisor(up, baud);
2603         else
2604                 quot = uart_get_divisor(port, baud);
2605
2606         /*
2607          * Oxford Semi 952 rev B workaround
2608          */
2609         if (up->bugs & UART_BUG_QUOT && (quot & 0xff) == 0)
2610                 quot++;
2611
2612         return quot;
2613 }
2614
2615 static unsigned int serial8250_get_divisor(struct uart_port *port,
2616                                            unsigned int baud,
2617                                            unsigned int *frac)
2618 {
2619         if (port->get_divisor)
2620                 return port->get_divisor(port, baud, frac);
2621
2622         return serial8250_do_get_divisor(port, baud, frac);
2623 }
2624
2625 static unsigned char serial8250_compute_lcr(struct uart_8250_port *up,
2626                                             tcflag_t c_cflag)
2627 {
2628         unsigned char cval;
2629
2630         cval = UART_LCR_WLEN(tty_get_char_size(c_cflag));
2631
2632         if (c_cflag & CSTOPB)
2633                 cval |= UART_LCR_STOP;
2634         if (c_cflag & PARENB) {
2635                 cval |= UART_LCR_PARITY;
2636                 if (up->bugs & UART_BUG_PARITY)
2637                         up->fifo_bug = true;
2638         }
2639         if (!(c_cflag & PARODD))
2640                 cval |= UART_LCR_EPAR;
2641         if (c_cflag & CMSPAR)
2642                 cval |= UART_LCR_SPAR;
2643
2644         return cval;
2645 }
2646
2647 void serial8250_do_set_divisor(struct uart_port *port, unsigned int baud,
2648                                unsigned int quot, unsigned int quot_frac)
2649 {
2650         struct uart_8250_port *up = up_to_u8250p(port);
2651
2652         /* Workaround to enable 115200 baud on OMAP1510 internal ports */
2653         if (is_omap1510_8250(up)) {
2654                 if (baud == 115200) {
2655                         quot = 1;
2656                         serial_port_out(port, UART_OMAP_OSC_12M_SEL, 1);
2657                 } else
2658                         serial_port_out(port, UART_OMAP_OSC_12M_SEL, 0);
2659         }
2660
2661         /*
2662          * For NatSemi, switch to bank 2 not bank 1, to avoid resetting EXCR2,
2663          * otherwise just set DLAB
2664          */
2665         if (up->capabilities & UART_NATSEMI)
2666                 serial_port_out(port, UART_LCR, 0xe0);
2667         else
2668                 serial_port_out(port, UART_LCR, up->lcr | UART_LCR_DLAB);
2669
2670         serial_dl_write(up, quot);
2671 }
2672 EXPORT_SYMBOL_GPL(serial8250_do_set_divisor);
2673
2674 static void serial8250_set_divisor(struct uart_port *port, unsigned int baud,
2675                                    unsigned int quot, unsigned int quot_frac)
2676 {
2677         if (port->set_divisor)
2678                 port->set_divisor(port, baud, quot, quot_frac);
2679         else
2680                 serial8250_do_set_divisor(port, baud, quot, quot_frac);
2681 }
2682
2683 static unsigned int serial8250_get_baud_rate(struct uart_port *port,
2684                                              struct ktermios *termios,
2685                                              const struct ktermios *old)
2686 {
2687         unsigned int tolerance = port->uartclk / 100;
2688         unsigned int min;
2689         unsigned int max;
2690
2691         /*
2692          * Handle magic divisors for baud rates above baud_base on SMSC
2693          * Super I/O chips.  Enable custom rates of clk/4 and clk/8, but
2694          * disable divisor values beyond 32767, which are unavailable.
2695          */
2696         if (port->flags & UPF_MAGIC_MULTIPLIER) {
2697                 min = port->uartclk / 16 / UART_DIV_MAX >> 1;
2698                 max = (port->uartclk + tolerance) / 4;
2699         } else {
2700                 min = port->uartclk / 16 / UART_DIV_MAX;
2701                 max = (port->uartclk + tolerance) / 16;
2702         }
2703
2704         /*
2705          * Ask the core to calculate the divisor for us.
2706          * Allow 1% tolerance at the upper limit so uart clks marginally
2707          * slower than nominal still match standard baud rates without
2708          * causing transmission errors.
2709          */
2710         return uart_get_baud_rate(port, termios, old, min, max);
2711 }
2712
2713 /*
2714  * Note in order to avoid the tty port mutex deadlock don't use the next method
2715  * within the uart port callbacks. Primarily it's supposed to be utilized to
2716  * handle a sudden reference clock rate change.
2717  */
2718 void serial8250_update_uartclk(struct uart_port *port, unsigned int uartclk)
2719 {
2720         struct uart_8250_port *up = up_to_u8250p(port);
2721         struct tty_port *tport = &port->state->port;
2722         unsigned int baud, quot, frac = 0;
2723         struct ktermios *termios;
2724         struct tty_struct *tty;
2725         unsigned long flags;
2726
2727         tty = tty_port_tty_get(tport);
2728         if (!tty) {
2729                 mutex_lock(&tport->mutex);
2730                 port->uartclk = uartclk;
2731                 mutex_unlock(&tport->mutex);
2732                 return;
2733         }
2734
2735         down_write(&tty->termios_rwsem);
2736         mutex_lock(&tport->mutex);
2737
2738         if (port->uartclk == uartclk)
2739                 goto out_unlock;
2740
2741         port->uartclk = uartclk;
2742
2743         if (!tty_port_initialized(tport))
2744                 goto out_unlock;
2745
2746         termios = &tty->termios;
2747
2748         baud = serial8250_get_baud_rate(port, termios, NULL);
2749         quot = serial8250_get_divisor(port, baud, &frac);
2750
2751         serial8250_rpm_get(up);
2752         spin_lock_irqsave(&port->lock, flags);
2753
2754         uart_update_timeout(port, termios->c_cflag, baud);
2755
2756         serial8250_set_divisor(port, baud, quot, frac);
2757         serial_port_out(port, UART_LCR, up->lcr);
2758
2759         spin_unlock_irqrestore(&port->lock, flags);
2760         serial8250_rpm_put(up);
2761
2762 out_unlock:
2763         mutex_unlock(&tport->mutex);
2764         up_write(&tty->termios_rwsem);
2765         tty_kref_put(tty);
2766 }
2767 EXPORT_SYMBOL_GPL(serial8250_update_uartclk);
2768
2769 void
2770 serial8250_do_set_termios(struct uart_port *port, struct ktermios *termios,
2771                           const struct ktermios *old)
2772 {
2773         struct uart_8250_port *up = up_to_u8250p(port);
2774         unsigned char cval;
2775         unsigned long flags;
2776         unsigned int baud, quot, frac = 0;
2777
2778         if (up->capabilities & UART_CAP_MINI) {
2779                 termios->c_cflag &= ~(CSTOPB | PARENB | PARODD | CMSPAR);
2780                 if ((termios->c_cflag & CSIZE) == CS5 ||
2781                     (termios->c_cflag & CSIZE) == CS6)
2782                         termios->c_cflag = (termios->c_cflag & ~CSIZE) | CS7;
2783         }
2784         cval = serial8250_compute_lcr(up, termios->c_cflag);
2785
2786         baud = serial8250_get_baud_rate(port, termios, old);
2787         quot = serial8250_get_divisor(port, baud, &frac);
2788
2789         /*
2790          * Ok, we're now changing the port state.  Do it with
2791          * interrupts disabled.
2792          */
2793         serial8250_rpm_get(up);
2794         spin_lock_irqsave(&port->lock, flags);
2795
2796         up->lcr = cval;                                 /* Save computed LCR */
2797
2798         if (up->capabilities & UART_CAP_FIFO && port->fifosize > 1) {
2799                 /* NOTE: If fifo_bug is not set, a user can set RX_trigger. */
2800                 if ((baud < 2400 && !up->dma) || up->fifo_bug) {
2801                         up->fcr &= ~UART_FCR_TRIGGER_MASK;
2802                         up->fcr |= UART_FCR_TRIGGER_1;
2803                 }
2804         }
2805
2806         /*
2807          * MCR-based auto flow control.  When AFE is enabled, RTS will be
2808          * deasserted when the receive FIFO contains more characters than
2809          * the trigger, or the MCR RTS bit is cleared.
2810          */
2811         if (up->capabilities & UART_CAP_AFE) {
2812                 up->mcr &= ~UART_MCR_AFE;
2813                 if (termios->c_cflag & CRTSCTS)
2814                         up->mcr |= UART_MCR_AFE;
2815         }
2816
2817         /*
2818          * Update the per-port timeout.
2819          */
2820         uart_update_timeout(port, termios->c_cflag, baud);
2821
2822         port->read_status_mask = UART_LSR_OE | UART_LSR_THRE | UART_LSR_DR;
2823         if (termios->c_iflag & INPCK)
2824                 port->read_status_mask |= UART_LSR_FE | UART_LSR_PE;
2825         if (termios->c_iflag & (IGNBRK | BRKINT | PARMRK))
2826                 port->read_status_mask |= UART_LSR_BI;
2827
2828         /*
2829          * Characters to ignore
2830          */
2831         port->ignore_status_mask = 0;
2832         if (termios->c_iflag & IGNPAR)
2833                 port->ignore_status_mask |= UART_LSR_PE | UART_LSR_FE;
2834         if (termios->c_iflag & IGNBRK) {
2835                 port->ignore_status_mask |= UART_LSR_BI;
2836                 /*
2837                  * If we're ignoring parity and break indicators,
2838                  * ignore overruns too (for real raw support).
2839                  */
2840                 if (termios->c_iflag & IGNPAR)
2841                         port->ignore_status_mask |= UART_LSR_OE;
2842         }
2843
2844         /*
2845          * ignore all characters if CREAD is not set
2846          */
2847         if ((termios->c_cflag & CREAD) == 0)
2848                 port->ignore_status_mask |= UART_LSR_DR;
2849
2850         /*
2851          * CTS flow control flag and modem status interrupts
2852          */
2853         up->ier &= ~UART_IER_MSI;
2854         if (!(up->bugs & UART_BUG_NOMSR) &&
2855                         UART_ENABLE_MS(&up->port, termios->c_cflag))
2856                 up->ier |= UART_IER_MSI;
2857         if (up->capabilities & UART_CAP_UUE)
2858                 up->ier |= UART_IER_UUE;
2859         if (up->capabilities & UART_CAP_RTOIE)
2860                 up->ier |= UART_IER_RTOIE;
2861
2862         serial_port_out(port, UART_IER, up->ier);
2863
2864         if (up->capabilities & UART_CAP_EFR) {
2865                 unsigned char efr = 0;
2866                 /*
2867                  * TI16C752/Startech hardware flow control.  FIXME:
2868                  * - TI16C752 requires control thresholds to be set.
2869                  * - UART_MCR_RTS is ineffective if auto-RTS mode is enabled.
2870                  */
2871                 if (termios->c_cflag & CRTSCTS)
2872                         efr |= UART_EFR_CTS;
2873
2874                 serial_port_out(port, UART_LCR, UART_LCR_CONF_MODE_B);
2875                 if (port->flags & UPF_EXAR_EFR)
2876                         serial_port_out(port, UART_XR_EFR, efr);
2877                 else
2878                         serial_port_out(port, UART_EFR, efr);
2879         }
2880
2881         serial8250_set_divisor(port, baud, quot, frac);
2882
2883         /*
2884          * LCR DLAB must be set to enable 64-byte FIFO mode. If the FCR
2885          * is written without DLAB set, this mode will be disabled.
2886          */
2887         if (port->type == PORT_16750)
2888                 serial_port_out(port, UART_FCR, up->fcr);
2889
2890         serial_port_out(port, UART_LCR, up->lcr);       /* reset DLAB */
2891         if (port->type != PORT_16750) {
2892                 /* emulated UARTs (Lucent Venus 167x) need two steps */
2893                 if (up->fcr & UART_FCR_ENABLE_FIFO)
2894                         serial_port_out(port, UART_FCR, UART_FCR_ENABLE_FIFO);
2895                 serial_port_out(port, UART_FCR, up->fcr);       /* set fcr */
2896         }
2897         serial8250_set_mctrl(port, port->mctrl);
2898         spin_unlock_irqrestore(&port->lock, flags);
2899         serial8250_rpm_put(up);
2900
2901         /* Don't rewrite B0 */
2902         if (tty_termios_baud_rate(termios))
2903                 tty_termios_encode_baud_rate(termios, baud, baud);
2904 }
2905 EXPORT_SYMBOL(serial8250_do_set_termios);
2906
2907 static void
2908 serial8250_set_termios(struct uart_port *port, struct ktermios *termios,
2909                        const struct ktermios *old)
2910 {
2911         if (port->set_termios)
2912                 port->set_termios(port, termios, old);
2913         else
2914                 serial8250_do_set_termios(port, termios, old);
2915 }
2916
2917 void serial8250_do_set_ldisc(struct uart_port *port, struct ktermios *termios)
2918 {
2919         if (termios->c_line == N_PPS) {
2920                 port->flags |= UPF_HARDPPS_CD;
2921                 spin_lock_irq(&port->lock);
2922                 serial8250_enable_ms(port);
2923                 spin_unlock_irq(&port->lock);
2924         } else {
2925                 port->flags &= ~UPF_HARDPPS_CD;
2926                 if (!UART_ENABLE_MS(port, termios->c_cflag)) {
2927                         spin_lock_irq(&port->lock);
2928                         serial8250_disable_ms(port);
2929                         spin_unlock_irq(&port->lock);
2930                 }
2931         }
2932 }
2933 EXPORT_SYMBOL_GPL(serial8250_do_set_ldisc);
2934
2935 static void
2936 serial8250_set_ldisc(struct uart_port *port, struct ktermios *termios)
2937 {
2938         if (port->set_ldisc)
2939                 port->set_ldisc(port, termios);
2940         else
2941                 serial8250_do_set_ldisc(port, termios);
2942 }
2943
2944 void serial8250_do_pm(struct uart_port *port, unsigned int state,
2945                       unsigned int oldstate)
2946 {
2947         struct uart_8250_port *p = up_to_u8250p(port);
2948
2949         serial8250_set_sleep(p, state != 0);
2950 }
2951 EXPORT_SYMBOL(serial8250_do_pm);
2952
2953 static void
2954 serial8250_pm(struct uart_port *port, unsigned int state,
2955               unsigned int oldstate)
2956 {
2957         if (port->pm)
2958                 port->pm(port, state, oldstate);
2959         else
2960                 serial8250_do_pm(port, state, oldstate);
2961 }
2962
2963 static unsigned int serial8250_port_size(struct uart_8250_port *pt)
2964 {
2965         if (pt->port.mapsize)
2966                 return pt->port.mapsize;
2967         if (pt->port.iotype == UPIO_AU) {
2968                 if (pt->port.type == PORT_RT2880)
2969                         return 0x100;
2970                 return 0x1000;
2971         }
2972         if (is_omap1_8250(pt))
2973                 return 0x16 << pt->port.regshift;
2974
2975         return 8 << pt->port.regshift;
2976 }
2977
2978 /*
2979  * Resource handling.
2980  */
2981 static int serial8250_request_std_resource(struct uart_8250_port *up)
2982 {
2983         unsigned int size = serial8250_port_size(up);
2984         struct uart_port *port = &up->port;
2985         int ret = 0;
2986
2987         switch (port->iotype) {
2988         case UPIO_AU:
2989         case UPIO_TSI:
2990         case UPIO_MEM32:
2991         case UPIO_MEM32BE:
2992         case UPIO_MEM16:
2993         case UPIO_MEM:
2994                 if (!port->mapbase) {
2995                         ret = -EINVAL;
2996                         break;
2997                 }
2998
2999                 if (!request_mem_region(port->mapbase, size, "serial")) {
3000                         ret = -EBUSY;
3001                         break;
3002                 }
3003
3004                 if (port->flags & UPF_IOREMAP) {
3005                         port->membase = ioremap(port->mapbase, size);
3006                         if (!port->membase) {
3007                                 release_mem_region(port->mapbase, size);
3008                                 ret = -ENOMEM;
3009                         }
3010                 }
3011                 break;
3012
3013         case UPIO_HUB6:
3014         case UPIO_PORT:
3015                 if (!request_region(port->iobase, size, "serial"))
3016                         ret = -EBUSY;
3017                 break;
3018         }
3019         return ret;
3020 }
3021
3022 static void serial8250_release_std_resource(struct uart_8250_port *up)
3023 {
3024         unsigned int size = serial8250_port_size(up);
3025         struct uart_port *port = &up->port;
3026
3027         switch (port->iotype) {
3028         case UPIO_AU:
3029         case UPIO_TSI:
3030         case UPIO_MEM32:
3031         case UPIO_MEM32BE:
3032         case UPIO_MEM16:
3033         case UPIO_MEM:
3034                 if (!port->mapbase)
3035                         break;
3036
3037                 if (port->flags & UPF_IOREMAP) {
3038                         iounmap(port->membase);
3039                         port->membase = NULL;
3040                 }
3041
3042                 release_mem_region(port->mapbase, size);
3043                 break;
3044
3045         case UPIO_HUB6:
3046         case UPIO_PORT:
3047                 release_region(port->iobase, size);
3048                 break;
3049         }
3050 }
3051
3052 static void serial8250_release_port(struct uart_port *port)
3053 {
3054         struct uart_8250_port *up = up_to_u8250p(port);
3055
3056         serial8250_release_std_resource(up);
3057 }
3058
3059 static int serial8250_request_port(struct uart_port *port)
3060 {
3061         struct uart_8250_port *up = up_to_u8250p(port);
3062
3063         return serial8250_request_std_resource(up);
3064 }
3065
3066 static int fcr_get_rxtrig_bytes(struct uart_8250_port *up)
3067 {
3068         const struct serial8250_config *conf_type = &uart_config[up->port.type];
3069         unsigned char bytes;
3070
3071         bytes = conf_type->rxtrig_bytes[UART_FCR_R_TRIG_BITS(up->fcr)];
3072
3073         return bytes ? bytes : -EOPNOTSUPP;
3074 }
3075
3076 static int bytes_to_fcr_rxtrig(struct uart_8250_port *up, unsigned char bytes)
3077 {
3078         const struct serial8250_config *conf_type = &uart_config[up->port.type];
3079         int i;
3080
3081         if (!conf_type->rxtrig_bytes[UART_FCR_R_TRIG_BITS(UART_FCR_R_TRIG_00)])
3082                 return -EOPNOTSUPP;
3083
3084         for (i = 1; i < UART_FCR_R_TRIG_MAX_STATE; i++) {
3085                 if (bytes < conf_type->rxtrig_bytes[i])
3086                         /* Use the nearest lower value */
3087                         return (--i) << UART_FCR_R_TRIG_SHIFT;
3088         }
3089
3090         return UART_FCR_R_TRIG_11;
3091 }
3092
3093 static int do_get_rxtrig(struct tty_port *port)
3094 {
3095         struct uart_state *state = container_of(port, struct uart_state, port);
3096         struct uart_port *uport = state->uart_port;
3097         struct uart_8250_port *up = up_to_u8250p(uport);
3098
3099         if (!(up->capabilities & UART_CAP_FIFO) || uport->fifosize <= 1)
3100                 return -EINVAL;
3101
3102         return fcr_get_rxtrig_bytes(up);
3103 }
3104
3105 static int do_serial8250_get_rxtrig(struct tty_port *port)
3106 {
3107         int rxtrig_bytes;
3108
3109         mutex_lock(&port->mutex);
3110         rxtrig_bytes = do_get_rxtrig(port);
3111         mutex_unlock(&port->mutex);
3112
3113         return rxtrig_bytes;
3114 }
3115
3116 static ssize_t rx_trig_bytes_show(struct device *dev,
3117         struct device_attribute *attr, char *buf)
3118 {
3119         struct tty_port *port = dev_get_drvdata(dev);
3120         int rxtrig_bytes;
3121
3122         rxtrig_bytes = do_serial8250_get_rxtrig(port);
3123         if (rxtrig_bytes < 0)
3124                 return rxtrig_bytes;
3125
3126         return sysfs_emit(buf, "%d\n", rxtrig_bytes);
3127 }
3128
3129 static int do_set_rxtrig(struct tty_port *port, unsigned char bytes)
3130 {
3131         struct uart_state *state = container_of(port, struct uart_state, port);
3132         struct uart_port *uport = state->uart_port;
3133         struct uart_8250_port *up = up_to_u8250p(uport);
3134         int rxtrig;
3135
3136         if (!(up->capabilities & UART_CAP_FIFO) || uport->fifosize <= 1 ||
3137             up->fifo_bug)
3138                 return -EINVAL;
3139
3140         rxtrig = bytes_to_fcr_rxtrig(up, bytes);
3141         if (rxtrig < 0)
3142                 return rxtrig;
3143
3144         serial8250_clear_fifos(up);
3145         up->fcr &= ~UART_FCR_TRIGGER_MASK;
3146         up->fcr |= (unsigned char)rxtrig;
3147         serial_out(up, UART_FCR, up->fcr);
3148         return 0;
3149 }
3150
3151 static int do_serial8250_set_rxtrig(struct tty_port *port, unsigned char bytes)
3152 {
3153         int ret;
3154
3155         mutex_lock(&port->mutex);
3156         ret = do_set_rxtrig(port, bytes);
3157         mutex_unlock(&port->mutex);
3158
3159         return ret;
3160 }
3161
3162 static ssize_t rx_trig_bytes_store(struct device *dev,
3163         struct device_attribute *attr, const char *buf, size_t count)
3164 {
3165         struct tty_port *port = dev_get_drvdata(dev);
3166         unsigned char bytes;
3167         int ret;
3168
3169         if (!count)
3170                 return -EINVAL;
3171
3172         ret = kstrtou8(buf, 10, &bytes);
3173         if (ret < 0)
3174                 return ret;
3175
3176         ret = do_serial8250_set_rxtrig(port, bytes);
3177         if (ret < 0)
3178                 return ret;
3179
3180         return count;
3181 }
3182
3183 static DEVICE_ATTR_RW(rx_trig_bytes);
3184
3185 static struct attribute *serial8250_dev_attrs[] = {
3186         &dev_attr_rx_trig_bytes.attr,
3187         NULL
3188 };
3189
3190 static struct attribute_group serial8250_dev_attr_group = {
3191         .attrs = serial8250_dev_attrs,
3192 };
3193
3194 static void register_dev_spec_attr_grp(struct uart_8250_port *up)
3195 {
3196         const struct serial8250_config *conf_type = &uart_config[up->port.type];
3197
3198         if (conf_type->rxtrig_bytes[0])
3199                 up->port.attr_group = &serial8250_dev_attr_group;
3200 }
3201
3202 static void serial8250_config_port(struct uart_port *port, int flags)
3203 {
3204         struct uart_8250_port *up = up_to_u8250p(port);
3205         int ret;
3206
3207         /*
3208          * Find the region that we can probe for.  This in turn
3209          * tells us whether we can probe for the type of port.
3210          */
3211         ret = serial8250_request_std_resource(up);
3212         if (ret < 0)
3213                 return;
3214
3215         if (port->iotype != up->cur_iotype)
3216                 set_io_from_upio(port);
3217
3218         if (flags & UART_CONFIG_TYPE)
3219                 autoconfig(up);
3220
3221         /* if access method is AU, it is a 16550 with a quirk */
3222         if (port->type == PORT_16550A && port->iotype == UPIO_AU)
3223                 up->bugs |= UART_BUG_NOMSR;
3224
3225         /* HW bugs may trigger IRQ while IIR == NO_INT */
3226         if (port->type == PORT_TEGRA)
3227                 up->bugs |= UART_BUG_NOMSR;
3228
3229         if (port->type != PORT_UNKNOWN && flags & UART_CONFIG_IRQ)
3230                 autoconfig_irq(up);
3231
3232         if (port->type == PORT_UNKNOWN)
3233                 serial8250_release_std_resource(up);
3234
3235         register_dev_spec_attr_grp(up);
3236         up->fcr = uart_config[up->port.type].fcr;
3237 }
3238
3239 static int
3240 serial8250_verify_port(struct uart_port *port, struct serial_struct *ser)
3241 {
3242         if (ser->irq >= nr_irqs || ser->irq < 0 ||
3243             ser->baud_base < 9600 || ser->type < PORT_UNKNOWN ||
3244             ser->type >= ARRAY_SIZE(uart_config) || ser->type == PORT_CIRRUS ||
3245             ser->type == PORT_STARTECH)
3246                 return -EINVAL;
3247         return 0;
3248 }
3249
3250 static const char *serial8250_type(struct uart_port *port)
3251 {
3252         int type = port->type;
3253
3254         if (type >= ARRAY_SIZE(uart_config))
3255                 type = 0;
3256         return uart_config[type].name;
3257 }
3258
3259 static const struct uart_ops serial8250_pops = {
3260         .tx_empty       = serial8250_tx_empty,
3261         .set_mctrl      = serial8250_set_mctrl,
3262         .get_mctrl      = serial8250_get_mctrl,
3263         .stop_tx        = serial8250_stop_tx,
3264         .start_tx       = serial8250_start_tx,
3265         .throttle       = serial8250_throttle,
3266         .unthrottle     = serial8250_unthrottle,
3267         .stop_rx        = serial8250_stop_rx,
3268         .enable_ms      = serial8250_enable_ms,
3269         .break_ctl      = serial8250_break_ctl,
3270         .startup        = serial8250_startup,
3271         .shutdown       = serial8250_shutdown,
3272         .set_termios    = serial8250_set_termios,
3273         .set_ldisc      = serial8250_set_ldisc,
3274         .pm             = serial8250_pm,
3275         .type           = serial8250_type,
3276         .release_port   = serial8250_release_port,
3277         .request_port   = serial8250_request_port,
3278         .config_port    = serial8250_config_port,
3279         .verify_port    = serial8250_verify_port,
3280 #ifdef CONFIG_CONSOLE_POLL
3281         .poll_get_char = serial8250_get_poll_char,
3282         .poll_put_char = serial8250_put_poll_char,
3283 #endif
3284 };
3285
3286 void serial8250_init_port(struct uart_8250_port *up)
3287 {
3288         struct uart_port *port = &up->port;
3289
3290         spin_lock_init(&port->lock);
3291         port->ops = &serial8250_pops;
3292         port->has_sysrq = IS_ENABLED(CONFIG_SERIAL_8250_CONSOLE);
3293
3294         up->cur_iotype = 0xFF;
3295 }
3296 EXPORT_SYMBOL_GPL(serial8250_init_port);
3297
3298 void serial8250_set_defaults(struct uart_8250_port *up)
3299 {
3300         struct uart_port *port = &up->port;
3301
3302         if (up->port.flags & UPF_FIXED_TYPE) {
3303                 unsigned int type = up->port.type;
3304
3305                 if (!up->port.fifosize)
3306                         up->port.fifosize = uart_config[type].fifo_size;
3307                 if (!up->tx_loadsz)
3308                         up->tx_loadsz = uart_config[type].tx_loadsz;
3309                 if (!up->capabilities)
3310                         up->capabilities = uart_config[type].flags;
3311         }
3312
3313         set_io_from_upio(port);
3314
3315         /* default dma handlers */
3316         if (up->dma) {
3317                 if (!up->dma->tx_dma)
3318                         up->dma->tx_dma = serial8250_tx_dma;
3319                 if (!up->dma->rx_dma)
3320                         up->dma->rx_dma = serial8250_rx_dma;
3321         }
3322 }
3323 EXPORT_SYMBOL_GPL(serial8250_set_defaults);
3324
3325 #ifdef CONFIG_SERIAL_8250_CONSOLE
3326
3327 static void serial8250_console_putchar(struct uart_port *port, unsigned char ch)
3328 {
3329         struct uart_8250_port *up = up_to_u8250p(port);
3330
3331         wait_for_xmitr(up, UART_LSR_THRE);
3332         serial_port_out(port, UART_TX, ch);
3333 }
3334
3335 /*
3336  *      Restore serial console when h/w power-off detected
3337  */
3338 static void serial8250_console_restore(struct uart_8250_port *up)
3339 {
3340         struct uart_port *port = &up->port;
3341         struct ktermios termios;
3342         unsigned int baud, quot, frac = 0;
3343
3344         termios.c_cflag = port->cons->cflag;
3345         termios.c_ispeed = port->cons->ispeed;
3346         termios.c_ospeed = port->cons->ospeed;
3347         if (port->state->port.tty && termios.c_cflag == 0) {
3348                 termios.c_cflag = port->state->port.tty->termios.c_cflag;
3349                 termios.c_ispeed = port->state->port.tty->termios.c_ispeed;
3350                 termios.c_ospeed = port->state->port.tty->termios.c_ospeed;
3351         }
3352
3353         baud = serial8250_get_baud_rate(port, &termios, NULL);
3354         quot = serial8250_get_divisor(port, baud, &frac);
3355
3356         serial8250_set_divisor(port, baud, quot, frac);
3357         serial_port_out(port, UART_LCR, up->lcr);
3358         serial8250_out_MCR(up, up->mcr | UART_MCR_DTR | UART_MCR_RTS);
3359 }
3360
3361 /*
3362  * Print a string to the serial port using the device FIFO
3363  *
3364  * It sends fifosize bytes and then waits for the fifo
3365  * to get empty.
3366  */
3367 static void serial8250_console_fifo_write(struct uart_8250_port *up,
3368                                           const char *s, unsigned int count)
3369 {
3370         int i;
3371         const char *end = s + count;
3372         unsigned int fifosize = up->tx_loadsz;
3373         bool cr_sent = false;
3374
3375         while (s != end) {
3376                 wait_for_lsr(up, UART_LSR_THRE);
3377
3378                 for (i = 0; i < fifosize && s != end; ++i) {
3379                         if (*s == '\n' && !cr_sent) {
3380                                 serial_out(up, UART_TX, '\r');
3381                                 cr_sent = true;
3382                         } else {
3383                                 serial_out(up, UART_TX, *s++);
3384                                 cr_sent = false;
3385                         }
3386                 }
3387         }
3388 }
3389
3390 /*
3391  *      Print a string to the serial port trying not to disturb
3392  *      any possible real use of the port...
3393  *
3394  *      The console_lock must be held when we get here.
3395  *
3396  *      Doing runtime PM is really a bad idea for the kernel console.
3397  *      Thus, we assume the function is called when device is powered up.
3398  */
3399 void serial8250_console_write(struct uart_8250_port *up, const char *s,
3400                               unsigned int count)
3401 {
3402         struct uart_8250_em485 *em485 = up->em485;
3403         struct uart_port *port = &up->port;
3404         unsigned long flags;
3405         unsigned int ier, use_fifo;
3406         int locked = 1;
3407
3408         touch_nmi_watchdog();
3409
3410         if (oops_in_progress)
3411                 locked = spin_trylock_irqsave(&port->lock, flags);
3412         else
3413                 spin_lock_irqsave(&port->lock, flags);
3414
3415         /*
3416          *      First save the IER then disable the interrupts
3417          */
3418         ier = serial_port_in(port, UART_IER);
3419         serial8250_clear_IER(up);
3420
3421         /* check scratch reg to see if port powered off during system sleep */
3422         if (up->canary && (up->canary != serial_port_in(port, UART_SCR))) {
3423                 serial8250_console_restore(up);
3424                 up->canary = 0;
3425         }
3426
3427         if (em485) {
3428                 if (em485->tx_stopped)
3429                         up->rs485_start_tx(up);
3430                 mdelay(port->rs485.delay_rts_before_send);
3431         }
3432
3433         use_fifo = (up->capabilities & UART_CAP_FIFO) &&
3434                 /*
3435                  * BCM283x requires to check the fifo
3436                  * after each byte.
3437                  */
3438                 !(up->capabilities & UART_CAP_MINI) &&
3439                 /*
3440                  * tx_loadsz contains the transmit fifo size
3441                  */
3442                 up->tx_loadsz > 1 &&
3443                 (up->fcr & UART_FCR_ENABLE_FIFO) &&
3444                 port->state &&
3445                 test_bit(TTY_PORT_INITIALIZED, &port->state->port.iflags) &&
3446                 /*
3447                  * After we put a data in the fifo, the controller will send
3448                  * it regardless of the CTS state. Therefore, only use fifo
3449                  * if we don't use control flow.
3450                  */
3451                 !(up->port.flags & UPF_CONS_FLOW);
3452
3453         if (likely(use_fifo))
3454                 serial8250_console_fifo_write(up, s, count);
3455         else
3456                 uart_console_write(port, s, count, serial8250_console_putchar);
3457
3458         /*
3459          *      Finally, wait for transmitter to become empty
3460          *      and restore the IER
3461          */
3462         wait_for_xmitr(up, UART_LSR_BOTH_EMPTY);
3463
3464         if (em485) {
3465                 mdelay(port->rs485.delay_rts_after_send);
3466                 if (em485->tx_stopped)
3467                         up->rs485_stop_tx(up);
3468         }
3469
3470         serial_port_out(port, UART_IER, ier);
3471
3472         /*
3473          *      The receive handling will happen properly because the
3474          *      receive ready bit will still be set; it is not cleared
3475          *      on read.  However, modem control will not, we must
3476          *      call it if we have saved something in the saved flags
3477          *      while processing with interrupts off.
3478          */
3479         if (up->msr_saved_flags)
3480                 serial8250_modem_status(up);
3481
3482         if (locked)
3483                 spin_unlock_irqrestore(&port->lock, flags);
3484 }
3485
3486 static unsigned int probe_baud(struct uart_port *port)
3487 {
3488         unsigned char lcr, dll, dlm;
3489         unsigned int quot;
3490
3491         lcr = serial_port_in(port, UART_LCR);
3492         serial_port_out(port, UART_LCR, lcr | UART_LCR_DLAB);
3493         dll = serial_port_in(port, UART_DLL);
3494         dlm = serial_port_in(port, UART_DLM);
3495         serial_port_out(port, UART_LCR, lcr);
3496
3497         quot = (dlm << 8) | dll;
3498         return (port->uartclk / 16) / quot;
3499 }
3500
3501 int serial8250_console_setup(struct uart_port *port, char *options, bool probe)
3502 {
3503         int baud = 9600;
3504         int bits = 8;
3505         int parity = 'n';
3506         int flow = 'n';
3507         int ret;
3508
3509         if (!port->iobase && !port->membase)
3510                 return -ENODEV;
3511
3512         if (options)
3513                 uart_parse_options(options, &baud, &parity, &bits, &flow);
3514         else if (probe)
3515                 baud = probe_baud(port);
3516
3517         ret = uart_set_options(port, port->cons, baud, parity, bits, flow);
3518         if (ret)
3519                 return ret;
3520
3521         if (port->dev)
3522                 pm_runtime_get_sync(port->dev);
3523
3524         return 0;
3525 }
3526
3527 int serial8250_console_exit(struct uart_port *port)
3528 {
3529         if (port->dev)
3530                 pm_runtime_put_sync(port->dev);
3531
3532         return 0;
3533 }
3534
3535 #endif /* CONFIG_SERIAL_8250_CONSOLE */
3536
3537 MODULE_LICENSE("GPL");