drivers/amba/bus.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  *  linux/arch/arm/common/amba.c
   4  *
   5  *  Copyright (C) 2003 Deep Blue Solutions Ltd, All Rights Reserved.
   6  */
   7 #include <linux/module.h>
   8 #include <linux/init.h>
   9 #include <linux/device.h>
  10 #include <linux/string.h>
  11 #include <linux/slab.h>
  12 #include <linux/io.h>
  13 #include <linux/pm.h>
  14 #include <linux/pm_runtime.h>
  15 #include <linux/pm_domain.h>
  16 #include <linux/amba/bus.h>
  17 #include <linux/sizes.h>
  18 #include <linux/limits.h>
  19 #include <linux/clk/clk-conf.h>
  20 #include <linux/platform_device.h>
  21 #include <linux/reset.h>
  22 #include <linux/of_irq.h>
  23 #include <linux/of_device.h>
  24 #include <linux/acpi.h>
  25 #include <linux/iommu.h>
  26 #include <linux/dma-map-ops.h>
  27
  28 #define to_amba_driver(d)       container_of(d, struct amba_driver, drv)
  29
  30 /* called on periphid match and class 0x9 coresight device. */
  31 static int
  32 amba_cs_uci_id_match(const struct amba_id *table, struct amba_device *dev)
  33 {
  34         int ret = 0;
  35         struct amba_cs_uci_id *uci;
  36
  37         uci = table->data;
  38
  39         /* no table data or zero mask - return match on periphid */
  40         if (!uci || (uci->devarch_mask == 0))
  41                 return 1;
  42
  43         /* test against read devtype and masked devarch value */
  44         ret = (dev->uci.devtype == uci->devtype) &&
  45                 ((dev->uci.devarch & uci->devarch_mask) == uci->devarch);
  46         return ret;
  47 }
  48
  49 static const struct amba_id *
  50 amba_lookup(const struct amba_id *table, struct amba_device *dev)
  51 {
  52         while (table->mask) {
  53                 if (((dev->periphid & table->mask) == table->id) &&
  54                         ((dev->cid != CORESIGHT_CID) ||
  55                          (amba_cs_uci_id_match(table, dev))))
  56                         return table;
  57                 table++;
  58         }
  59         return NULL;
  60 }
  61
  62 static int amba_get_enable_pclk(struct amba_device *pcdev)
  63 {
  64         int ret;
  65
  66         pcdev->pclk = clk_get(&pcdev->dev, "apb_pclk");
  67         if (IS_ERR(pcdev->pclk))
  68                 return PTR_ERR(pcdev->pclk);
  69
  70         ret = clk_prepare_enable(pcdev->pclk);
  71         if (ret)
  72                 clk_put(pcdev->pclk);
  73
  74         return ret;
  75 }
  76
  77 static void amba_put_disable_pclk(struct amba_device *pcdev)
  78 {
  79         clk_disable_unprepare(pcdev->pclk);
  80         clk_put(pcdev->pclk);
  81 }
  82
  83
  84 static ssize_t driver_override_show(struct device *_dev,
  85                                     struct device_attribute *attr, char *buf)
  86 {
  87         struct amba_device *dev = to_amba_device(_dev);
  88         ssize_t len;
  89
  90         device_lock(_dev);
  91         len = sprintf(buf, "%s\n", dev->driver_override);
  92         device_unlock(_dev);
  93         return len;
  94 }
  95
  96 static ssize_t driver_override_store(struct device *_dev,
  97                                      struct device_attribute *attr,
  98                                      const char *buf, size_t count)
  99 {
 100         struct amba_device *dev = to_amba_device(_dev);
 101         int ret;
 102
 103         ret = driver_set_override(_dev, &dev->driver_override, buf, count);
 104         if (ret)
 105                 return ret;
 106
 107         return count;
 108 }
 109 static DEVICE_ATTR_RW(driver_override);
 110
 111 #define amba_attr_func(name,fmt,arg...)                                 \
 112 static ssize_t name##_show(struct device *_dev,                         \
 113                            struct device_attribute *attr, char *buf)    \
 114 {                                                                       \
 115         struct amba_device *dev = to_amba_device(_dev);                 \
 116         return sprintf(buf, fmt, arg);                                  \
 117 }                                                                       \
 118 static DEVICE_ATTR_RO(name)
 119
 120 amba_attr_func(id, "%08x\n", dev->periphid);
 121 amba_attr_func(resource, "\t%016llx\t%016llx\t%016lx\n",
 122          (unsigned long long)dev->res.start, (unsigned long long)dev->res.end,
 123          dev->res.flags);
 124
 125 static struct attribute *amba_dev_attrs[] = {
 126         &dev_attr_id.attr,
 127         &dev_attr_resource.attr,
 128         &dev_attr_driver_override.attr,
 129         NULL,
 130 };
 131 ATTRIBUTE_GROUPS(amba_dev);
 132
 133 static int amba_read_periphid(struct amba_device *dev)
 134 {
 135         struct reset_control *rstc;
 136         u32 size, pid, cid;
 137         void __iomem *tmp;
 138         int i, ret;
 139
 140         ret = dev_pm_domain_attach(&dev->dev, true);
 141         if (ret) {
 142                 dev_dbg(&dev->dev, "can't get PM domain: %d\n", ret);
 143                 goto err_out;
 144         }
 145
 146         ret = amba_get_enable_pclk(dev);
 147         if (ret) {
 148                 dev_dbg(&dev->dev, "can't get pclk: %d\n", ret);
 149                 goto err_pm;
 150         }
 151
 152         /*
 153          * Find reset control(s) of the amba bus and de-assert them.
 154          */
 155         rstc = of_reset_control_array_get_optional_shared(dev->dev.of_node);
 156         if (IS_ERR(rstc)) {
 157                 ret = PTR_ERR(rstc);
 158                 if (ret != -EPROBE_DEFER)
 159                         dev_err(&dev->dev, "can't get reset: %d\n", ret);
 160                 goto err_clk;
 161         }
 162         reset_control_deassert(rstc);
 163         reset_control_put(rstc);
 164
 165         size = resource_size(&dev->res);
 166         tmp = ioremap(dev->res.start, size);
 167         if (!tmp) {
 168                 ret = -ENOMEM;
 169                 goto err_clk;
 170         }
 171
 172         /*
 173          * Read pid and cid based on size of resource
 174          * they are located at end of region
 175          */
 176         for (pid = 0, i = 0; i < 4; i++)
 177                 pid |= (readl(tmp + size - 0x20 + 4 * i) & 255) << (i * 8);
 178         for (cid = 0, i = 0; i < 4; i++)
 179                 cid |= (readl(tmp + size - 0x10 + 4 * i) & 255) << (i * 8);
 180
 181         if (cid == CORESIGHT_CID) {
 182                 /* set the base to the start of the last 4k block */
 183                 void __iomem *csbase = tmp + size - 4096;
 184
 185                 dev->uci.devarch = readl(csbase + UCI_REG_DEVARCH_OFFSET);
 186                 dev->uci.devtype = readl(csbase + UCI_REG_DEVTYPE_OFFSET) & 0xff;
 187         }
 188
 189         if (cid == AMBA_CID || cid == CORESIGHT_CID) {
 190                 dev->periphid = pid;
 191                 dev->cid = cid;
 192         }
 193
 194         if (!dev->periphid)
 195                 ret = -ENODEV;
 196
 197         iounmap(tmp);
 198
 199 err_clk:
 200         amba_put_disable_pclk(dev);
 201 err_pm:
 202         dev_pm_domain_detach(&dev->dev, true);
 203 err_out:
 204         return ret;
 205 }
 206
 207 static int amba_match(struct device *dev, struct device_driver *drv)
 208 {
 209         struct amba_device *pcdev = to_amba_device(dev);
 210         struct amba_driver *pcdrv = to_amba_driver(drv);
 211
 212         mutex_lock(&pcdev->periphid_lock);
 213         if (!pcdev->periphid) {
 214                 int ret = amba_read_periphid(pcdev);
 215
 216                 /*
 217                  * Returning any error other than -EPROBE_DEFER from bus match
 218                  * can cause driver registration failure. So, if there's a
 219                  * permanent failure in reading pid and cid, simply map it to
 220                  * -EPROBE_DEFER.
 221                  */
 222                 if (ret) {
 223                         mutex_unlock(&pcdev->periphid_lock);
 224                         return -EPROBE_DEFER;
 225                 }
 226                 dev_set_uevent_suppress(dev, false);
 227                 kobject_uevent(&dev->kobj, KOBJ_ADD);
 228         }
 229         mutex_unlock(&pcdev->periphid_lock);
 230
 231         /* When driver_override is set, only bind to the matching driver */
 232         if (pcdev->driver_override)
 233                 return !strcmp(pcdev->driver_override, drv->name);
 234
 235         return amba_lookup(pcdrv->id_table, pcdev) != NULL;
 236 }
 237
 238 static int amba_uevent(struct device *dev, struct kobj_uevent_env *env)
 239 {
 240         struct amba_device *pcdev = to_amba_device(dev);
 241         int retval = 0;
 242
 243         retval = add_uevent_var(env, "AMBA_ID=%08x", pcdev->periphid);
 244         if (retval)
 245                 return retval;
 246
 247         retval = add_uevent_var(env, "MODALIAS=amba:d%08X", pcdev->periphid);
 248         return retval;
 249 }
 250
 251 static int of_amba_device_decode_irq(struct amba_device *dev)
 252 {
 253         struct device_node *node = dev->dev.of_node;
 254         int i, irq = 0;
 255
 256         if (IS_ENABLED(CONFIG_OF_IRQ) && node) {
 257                 /* Decode the IRQs and address ranges */
 258                 for (i = 0; i < AMBA_NR_IRQS; i++) {
 259                         irq = of_irq_get(node, i);
 260                         if (irq < 0) {
 261                                 if (irq == -EPROBE_DEFER)
 262                                         return irq;
 263                                 irq = 0;
 264                         }
 265
 266                         dev->irq[i] = irq;
 267                 }
 268         }
 269
 270         return 0;
 271 }
 272
 273 /*
 274  * These are the device model conversion veneers; they convert the
 275  * device model structures to our more specific structures.
 276  */
 277 static int amba_probe(struct device *dev)
 278 {
 279         struct amba_device *pcdev = to_amba_device(dev);
 280         struct amba_driver *pcdrv = to_amba_driver(dev->driver);
 281         const struct amba_id *id = amba_lookup(pcdrv->id_table, pcdev);
 282         int ret;
 283
 284         do {
 285                 ret = of_amba_device_decode_irq(pcdev);
 286                 if (ret)
 287                         break;
 288
 289                 ret = of_clk_set_defaults(dev->of_node, false);
 290                 if (ret < 0)
 291                         break;
 292
 293                 ret = dev_pm_domain_attach(dev, true);
 294                 if (ret)
 295                         break;
 296
 297                 ret = amba_get_enable_pclk(pcdev);
 298                 if (ret) {
 299                         dev_pm_domain_detach(dev, true);
 300                         break;
 301                 }
 302
 303                 pm_runtime_get_noresume(dev);
 304                 pm_runtime_set_active(dev);
 305                 pm_runtime_enable(dev);
 306
 307                 ret = pcdrv->probe(pcdev, id);
 308                 if (ret == 0)
 309                         break;
 310
 311                 pm_runtime_disable(dev);
 312                 pm_runtime_set_suspended(dev);
 313                 pm_runtime_put_noidle(dev);
 314
 315                 amba_put_disable_pclk(pcdev);
 316                 dev_pm_domain_detach(dev, true);
 317         } while (0);
 318
 319         return ret;
 320 }
 321
 322 static void amba_remove(struct device *dev)
 323 {
 324         struct amba_device *pcdev = to_amba_device(dev);
 325         struct amba_driver *drv = to_amba_driver(dev->driver);
 326
 327         pm_runtime_get_sync(dev);
 328         if (drv->remove)
 329                 drv->remove(pcdev);
 330         pm_runtime_put_noidle(dev);
 331
 332         /* Undo the runtime PM settings in amba_probe() */
 333         pm_runtime_disable(dev);
 334         pm_runtime_set_suspended(dev);
 335         pm_runtime_put_noidle(dev);
 336
 337         amba_put_disable_pclk(pcdev);
 338         dev_pm_domain_detach(dev, true);
 339 }
 340
 341 static void amba_shutdown(struct device *dev)
 342 {
 343         struct amba_driver *drv;
 344
 345         if (!dev->driver)
 346                 return;
 347
 348         drv = to_amba_driver(dev->driver);
 349         if (drv->shutdown)
 350                 drv->shutdown(to_amba_device(dev));
 351 }
 352
 353 static int amba_dma_configure(struct device *dev)
 354 {
 355         struct amba_driver *drv = to_amba_driver(dev->driver);
 356         enum dev_dma_attr attr;
 357         int ret = 0;
 358
 359         if (dev->of_node) {
 360                 ret = of_dma_configure(dev, dev->of_node, true);
 361         } else if (has_acpi_companion(dev)) {
 362                 attr = acpi_get_dma_attr(to_acpi_device_node(dev->fwnode));
 363                 ret = acpi_dma_configure(dev, attr);
 364         }
 365
 366         if (!ret && !drv->driver_managed_dma) {
 367                 ret = iommu_device_use_default_domain(dev);
 368                 if (ret)
 369                         arch_teardown_dma_ops(dev);
 370         }
 371
 372         return ret;
 373 }
 374
 375 static void amba_dma_cleanup(struct device *dev)
 376 {
 377         struct amba_driver *drv = to_amba_driver(dev->driver);
 378
 379         if (!drv->driver_managed_dma)
 380                 iommu_device_unuse_default_domain(dev);
 381 }
 382
 383 #ifdef CONFIG_PM
 384 /*
 385  * Hooks to provide runtime PM of the pclk (bus clock).  It is safe to
 386  * enable/disable the bus clock at runtime PM suspend/resume as this
 387  * does not result in loss of context.
 388  */
 389 static int amba_pm_runtime_suspend(struct device *dev)
 390 {
 391         struct amba_device *pcdev = to_amba_device(dev);
 392         int ret = pm_generic_runtime_suspend(dev);
 393
 394         if (ret == 0 && dev->driver) {
 395                 if (pm_runtime_is_irq_safe(dev))
 396                         clk_disable(pcdev->pclk);
 397                 else
 398                         clk_disable_unprepare(pcdev->pclk);
 399         }
 400
 401         return ret;
 402 }
 403
 404 static int amba_pm_runtime_resume(struct device *dev)
 405 {
 406         struct amba_device *pcdev = to_amba_device(dev);
 407         int ret;
 408
 409         if (dev->driver) {
 410                 if (pm_runtime_is_irq_safe(dev))
 411                         ret = clk_enable(pcdev->pclk);
 412                 else
 413                         ret = clk_prepare_enable(pcdev->pclk);
 414                 /* Failure is probably fatal to the system, but... */
 415                 if (ret)
 416                         return ret;
 417         }
 418
 419         return pm_generic_runtime_resume(dev);
 420 }
 421 #endif /* CONFIG_PM */
 422
 423 static const struct dev_pm_ops amba_pm = {
 424         .suspend        = pm_generic_suspend,
 425         .resume         = pm_generic_resume,
 426         .freeze         = pm_generic_freeze,
 427         .thaw           = pm_generic_thaw,
 428         .poweroff       = pm_generic_poweroff,
 429         .restore        = pm_generic_restore,
 430         SET_RUNTIME_PM_OPS(
 431                 amba_pm_runtime_suspend,
 432                 amba_pm_runtime_resume,
 433                 NULL
 434         )
 435 };
 436
 437 /*
 438  * Primecells are part of the Advanced Microcontroller Bus Architecture,
 439  * so we call the bus "amba".
 440  * DMA configuration for platform and AMBA bus is same. So here we reuse
 441  * platform's DMA config routine.
 442  */
 443 struct bus_type amba_bustype = {
 444         .name           = "amba",
 445         .dev_groups     = amba_dev_groups,
 446         .match          = amba_match,
 447         .uevent         = amba_uevent,
 448         .probe          = amba_probe,
 449         .remove         = amba_remove,
 450         .shutdown       = amba_shutdown,
 451         .dma_configure  = amba_dma_configure,
 452         .dma_cleanup    = amba_dma_cleanup,
 453         .pm             = &amba_pm,
 454 };
 455 EXPORT_SYMBOL_GPL(amba_bustype);
 456
 457 static int __init amba_init(void)
 458 {
 459         return bus_register(&amba_bustype);
 460 }
 461
 462 postcore_initcall(amba_init);
 463
 464 static int amba_proxy_probe(struct amba_device *adev,
 465                             const struct amba_id *id)
 466 {
 467         WARN(1, "Stub driver should never match any device.\n");
 468         return -ENODEV;
 469 }
 470
 471 static const struct amba_id amba_stub_drv_ids[] = {
 472         { 0, 0 },
 473 };
 474
 475 static struct amba_driver amba_proxy_drv = {
 476         .drv = {
 477                 .name = "amba-proxy",
 478         },
 479         .probe = amba_proxy_probe,
 480         .id_table = amba_stub_drv_ids,
 481 };
 482
 483 static int __init amba_stub_drv_init(void)
 484 {
 485         if (!IS_ENABLED(CONFIG_MODULES))
 486                 return 0;
 487
 488         /*
 489          * The amba_match() function will get called only if there is at least
 490          * one amba driver registered. If all amba drivers are modules and are
 491          * only loaded based on uevents, then we'll hit a chicken-and-egg
 492          * situation where amba_match() is waiting on drivers and drivers are
 493          * waiting on amba_match(). So, register a stub driver to make sure
 494          * amba_match() is called even if no amba driver has been registered.
 495          */
 496         return amba_driver_register(&amba_proxy_drv);
 497 }
 498 late_initcall_sync(amba_stub_drv_init);
 499
 500 /**
 501  *      amba_driver_register - register an AMBA device driver
 502  *      @drv: amba device driver structure
 503  *
 504  *      Register an AMBA device driver with the Linux device model
 505  *      core.  If devices pre-exist, the drivers probe function will
 506  *      be called.
 507  */
 508 int amba_driver_register(struct amba_driver *drv)
 509 {
 510         if (!drv->probe)
 511                 return -EINVAL;
 512
 513         drv->drv.bus = &amba_bustype;
 514
 515         return driver_register(&drv->drv);
 516 }
 517 EXPORT_SYMBOL(amba_driver_register);
 518
 519 /**
 520  *      amba_driver_unregister - remove an AMBA device driver
 521  *      @drv: AMBA device driver structure to remove
 522  *
 523  *      Unregister an AMBA device driver from the Linux device
 524  *      model.  The device model will call the drivers remove function
 525  *      for each device the device driver is currently handling.
 526  */
 527 void amba_driver_unregister(struct amba_driver *drv)
 528 {
 529         driver_unregister(&drv->drv);
 530 }
 531 EXPORT_SYMBOL(amba_driver_unregister);
 532
 533 static void amba_device_release(struct device *dev)
 534 {
 535         struct amba_device *d = to_amba_device(dev);
 536
 537         if (d->res.parent)
 538                 release_resource(&d->res);
 539         mutex_destroy(&d->periphid_lock);
 540         kfree(d);
 541 }
 542
 543 /**
 544  *      amba_device_add - add a previously allocated AMBA device structure
 545  *      @dev: AMBA device allocated by amba_device_alloc
 546  *      @parent: resource parent for this devices resources
 547  *
 548  *      Claim the resource, and read the device cell ID if not already
 549  *      initialized.  Register the AMBA device with the Linux device
 550  *      manager.
 551  */
 552 int amba_device_add(struct amba_device *dev, struct resource *parent)
 553 {
 554         int ret;
 555
 556         ret = request_resource(parent, &dev->res);
 557         if (ret)
 558                 return ret;
 559
 560         /* If primecell ID isn't hard-coded, figure it out */
 561         if (!dev->periphid) {
 562                 /*
 563                  * AMBA device uevents require reading its pid and cid
 564                  * registers.  To do this, the device must be on, clocked and
 565                  * out of reset.  However in some cases those resources might
 566                  * not yet be available.  If that's the case, we suppress the
 567                  * generation of uevents until we can read the pid and cid
 568                  * registers.  See also amba_match().
 569                  */
 570                 if (amba_read_periphid(dev))
 571                         dev_set_uevent_suppress(&dev->dev, true);
 572         }
 573
 574         ret = device_add(&dev->dev);
 575         if (ret)
 576                 release_resource(&dev->res);
 577
 578         return ret;
 579 }
 580 EXPORT_SYMBOL_GPL(amba_device_add);
 581
 582 static void amba_device_initialize(struct amba_device *dev, const char *name)
 583 {
 584         device_initialize(&dev->dev);
 585         if (name)
 586                 dev_set_name(&dev->dev, "%s", name);
 587         dev->dev.release = amba_device_release;
 588         dev->dev.bus = &amba_bustype;
 589         dev->dev.dma_mask = &dev->dev.coherent_dma_mask;
 590         dev->dev.dma_parms = &dev->dma_parms;
 591         dev->res.name = dev_name(&dev->dev);
 592         mutex_init(&dev->periphid_lock);
 593 }
 594
 595 /**
 596  *      amba_device_alloc - allocate an AMBA device
 597  *      @name: sysfs name of the AMBA device
 598  *      @base: base of AMBA device
 599  *      @size: size of AMBA device
 600  *
 601  *      Allocate and initialize an AMBA device structure.  Returns %NULL
 602  *      on failure.
 603  */
 604 struct amba_device *amba_device_alloc(const char *name, resource_size_t base,
 605         size_t size)
 606 {
 607         struct amba_device *dev;
 608
 609         dev = kzalloc(sizeof(*dev), GFP_KERNEL);
 610         if (dev) {
 611                 amba_device_initialize(dev, name);
 612                 dev->res.start = base;
 613                 dev->res.end = base + size - 1;
 614                 dev->res.flags = IORESOURCE_MEM;
 615         }
 616
 617         return dev;
 618 }
 619 EXPORT_SYMBOL_GPL(amba_device_alloc);
 620
 621 /**
 622  *      amba_device_register - register an AMBA device
 623  *      @dev: AMBA device to register
 624  *      @parent: parent memory resource
 625  *
 626  *      Setup the AMBA device, reading the cell ID if present.
 627  *      Claim the resource, and register the AMBA device with
 628  *      the Linux device manager.
 629  */
 630 int amba_device_register(struct amba_device *dev, struct resource *parent)
 631 {
 632         amba_device_initialize(dev, dev->dev.init_name);
 633         dev->dev.init_name = NULL;
 634
 635         return amba_device_add(dev, parent);
 636 }
 637 EXPORT_SYMBOL(amba_device_register);
 638
 639 /**
 640  *      amba_device_put - put an AMBA device
 641  *      @dev: AMBA device to put
 642  */
 643 void amba_device_put(struct amba_device *dev)
 644 {
 645         put_device(&dev->dev);
 646 }
 647 EXPORT_SYMBOL_GPL(amba_device_put);
 648
 649 /**
 650  *      amba_device_unregister - unregister an AMBA device
 651  *      @dev: AMBA device to remove
 652  *
 653  *      Remove the specified AMBA device from the Linux device
 654  *      manager.  All files associated with this object will be
 655  *      destroyed, and device drivers notified that the device has
 656  *      been removed.  The AMBA device's resources including
 657  *      the amba_device structure will be freed once all
 658  *      references to it have been dropped.
 659  */
 660 void amba_device_unregister(struct amba_device *dev)
 661 {
 662         device_unregister(&dev->dev);
 663 }
 664 EXPORT_SYMBOL(amba_device_unregister);
 665
 666 /**
 667  *      amba_request_regions - request all mem regions associated with device
 668  *      @dev: amba_device structure for device
 669  *      @name: name, or NULL to use driver name
 670  */
 671 int amba_request_regions(struct amba_device *dev, const char *name)
 672 {
 673         int ret = 0;
 674         u32 size;
 675
 676         if (!name)
 677                 name = dev->dev.driver->name;
 678
 679         size = resource_size(&dev->res);
 680
 681         if (!request_mem_region(dev->res.start, size, name))
 682                 ret = -EBUSY;
 683
 684         return ret;
 685 }
 686 EXPORT_SYMBOL(amba_request_regions);
 687
 688 /**
 689  *      amba_release_regions - release mem regions associated with device
 690  *      @dev: amba_device structure for device
 691  *
 692  *      Release regions claimed by a successful call to amba_request_regions.
 693  */
 694 void amba_release_regions(struct amba_device *dev)
 695 {
 696         u32 size;
 697
 698         size = resource_size(&dev->res);
 699         release_mem_region(dev->res.start, size);
 700 }
 701 EXPORT_SYMBOL(amba_release_regions);