drivers/pci/bus.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * From setup-res.c, by:
   4  *      Dave Rusling (david.rusling@reo.mts.dec.com)
   5  *      David Mosberger (davidm@cs.arizona.edu)
   6  *      David Miller (davem@redhat.com)
   7  *      Ivan Kokshaysky (ink@jurassic.park.msu.ru)
   8  */
   9 #include <linux/module.h>
  10 #include <linux/kernel.h>
  11 #include <linux/pci.h>
  12 #include <linux/errno.h>
  13 #include <linux/ioport.h>
  14 #include <linux/proc_fs.h>
  15 #include <linux/slab.h>
  16
  17 #include "pci.h"
  18
  19 void pci_add_resource_offset(struct list_head *resources, struct resource *res,
  20                              resource_size_t offset)
  21 {
  22         struct resource_entry *entry;
  23
  24         entry = resource_list_create_entry(res, 0);
  25         if (!entry) {
  26                 pr_err("PCI: can't add host bridge window %pR\n", res);
  27                 return;
  28         }
  29
  30         entry->offset = offset;
  31         resource_list_add_tail(entry, resources);
  32 }
  33 EXPORT_SYMBOL(pci_add_resource_offset);
  34
  35 void pci_add_resource(struct list_head *resources, struct resource *res)
  36 {
  37         pci_add_resource_offset(resources, res, 0);
  38 }
  39 EXPORT_SYMBOL(pci_add_resource);
  40
  41 void pci_free_resource_list(struct list_head *resources)
  42 {
  43         resource_list_free(resources);
  44 }
  45 EXPORT_SYMBOL(pci_free_resource_list);
  46
  47 void pci_bus_add_resource(struct pci_bus *bus, struct resource *res,
  48                           unsigned int flags)
  49 {
  50         struct pci_bus_resource *bus_res;
  51
  52         bus_res = kzalloc(sizeof(struct pci_bus_resource), GFP_KERNEL);
  53         if (!bus_res) {
  54                 dev_err(&bus->dev, "can't add %pR resource\n", res);
  55                 return;
  56         }
  57
  58         bus_res->res = res;
  59         bus_res->flags = flags;
  60         list_add_tail(&bus_res->list, &bus->resources);
  61 }
  62
  63 struct resource *pci_bus_resource_n(const struct pci_bus *bus, int n)
  64 {
  65         struct pci_bus_resource *bus_res;
  66
  67         if (n < PCI_BRIDGE_RESOURCE_NUM)
  68                 return bus->resource[n];
  69
  70         n -= PCI_BRIDGE_RESOURCE_NUM;
  71         list_for_each_entry(bus_res, &bus->resources, list) {
  72                 if (n-- == 0)
  73                         return bus_res->res;
  74         }
  75         return NULL;
  76 }
  77 EXPORT_SYMBOL_GPL(pci_bus_resource_n);
  78
  79 void pci_bus_remove_resource(struct pci_bus *bus, struct resource *res)
  80 {
  81         struct pci_bus_resource *bus_res, *tmp;
  82         int i;
  83
  84         for (i = 0; i < PCI_BRIDGE_RESOURCE_NUM; i++) {
  85                 if (bus->resource[i] == res) {
  86                         bus->resource[i] = NULL;
  87                         return;
  88                 }
  89         }
  90
  91         list_for_each_entry_safe(bus_res, tmp, &bus->resources, list) {
  92                 if (bus_res->res == res) {
  93                         list_del(&bus_res->list);
  94                         kfree(bus_res);
  95                         return;
  96                 }
  97         }
  98 }
  99
 100 void pci_bus_remove_resources(struct pci_bus *bus)
 101 {
 102         int i;
 103         struct pci_bus_resource *bus_res, *tmp;
 104
 105         for (i = 0; i < PCI_BRIDGE_RESOURCE_NUM; i++)
 106                 bus->resource[i] = NULL;
 107
 108         list_for_each_entry_safe(bus_res, tmp, &bus->resources, list) {
 109                 list_del(&bus_res->list);
 110                 kfree(bus_res);
 111         }
 112 }
 113
 114 int devm_request_pci_bus_resources(struct device *dev,
 115                                    struct list_head *resources)
 116 {
 117         struct resource_entry *win;
 118         struct resource *parent, *res;
 119         int err;
 120
 121         resource_list_for_each_entry(win, resources) {
 122                 res = win->res;
 123                 switch (resource_type(res)) {
 124                 case IORESOURCE_IO:
 125                         parent = &ioport_resource;
 126                         break;
 127                 case IORESOURCE_MEM:
 128                         parent = &iomem_resource;
 129                         break;
 130                 default:
 131                         continue;
 132                 }
 133
 134                 err = devm_request_resource(dev, parent, res);
 135                 if (err)
 136                         return err;
 137         }
 138
 139         return 0;
 140 }
 141 EXPORT_SYMBOL_GPL(devm_request_pci_bus_resources);
 142
 143 static struct pci_bus_region pci_32_bit = {0, 0xffffffffULL};
 144 #ifdef CONFIG_ARCH_DMA_ADDR_T_64BIT
 145 static struct pci_bus_region pci_64_bit = {0,
 146                                 (pci_bus_addr_t) 0xffffffffffffffffULL};
 147 static struct pci_bus_region pci_high = {(pci_bus_addr_t) 0x100000000ULL,
 148                                 (pci_bus_addr_t) 0xffffffffffffffffULL};
 149 #endif
 150
 151 /*
 152  * @res contains CPU addresses.  Clip it so the corresponding bus addresses
 153  * on @bus are entirely within @region.  This is used to control the bus
 154  * addresses of resources we allocate, e.g., we may need a resource that
 155  * can be mapped by a 32-bit BAR.
 156  */
 157 static void pci_clip_resource_to_region(struct pci_bus *bus,
 158                                         struct resource *res,
 159                                         struct pci_bus_region *region)
 160 {
 161         struct pci_bus_region r;
 162
 163         pcibios_resource_to_bus(bus, &r, res);
 164         if (r.start < region->start)
 165                 r.start = region->start;
 166         if (r.end > region->end)
 167                 r.end = region->end;
 168
 169         if (r.end < r.start)
 170                 res->end = res->start - 1;
 171         else
 172                 pcibios_bus_to_resource(bus, res, &r);
 173 }
 174
 175 static int pci_bus_alloc_from_region(struct pci_bus *bus, struct resource *res,
 176                 resource_size_t size, resource_size_t align,
 177                 resource_size_t min, unsigned long type_mask,
 178                 resource_size_t (*alignf)(void *,
 179                                           const struct resource *,
 180                                           resource_size_t,
 181                                           resource_size_t),
 182                 void *alignf_data,
 183                 struct pci_bus_region *region)
 184 {
 185         struct resource *r, avail;
 186         resource_size_t max;
 187         int ret;
 188
 189         type_mask |= IORESOURCE_TYPE_BITS;
 190
 191         pci_bus_for_each_resource(bus, r) {
 192                 resource_size_t min_used = min;
 193
 194                 if (!r)
 195                         continue;
 196
 197                 /* type_mask must match */
 198                 if ((res->flags ^ r->flags) & type_mask)
 199                         continue;
 200
 201                 /* We cannot allocate a non-prefetching resource
 202                    from a pre-fetching area */
 203                 if ((r->flags & IORESOURCE_PREFETCH) &&
 204                     !(res->flags & IORESOURCE_PREFETCH))
 205                         continue;
 206
 207                 avail = *r;
 208                 pci_clip_resource_to_region(bus, &avail, region);
 209
 210                 /*
 211                  * "min" is typically PCIBIOS_MIN_IO or PCIBIOS_MIN_MEM to
 212                  * protect badly documented motherboard resources, but if
 213                  * this is an already-configured bridge window, its start
 214                  * overrides "min".
 215                  */
 216                 if (avail.start)
 217                         min_used = avail.start;
 218
 219                 max = avail.end;
 220
 221                 /* Don't bother if available space isn't large enough */
 222                 if (size > max - min_used + 1)
 223                         continue;
 224
 225                 /* Ok, try it out.. */
 226                 ret = allocate_resource(r, res, size, min_used, max,
 227                                         align, alignf, alignf_data);
 228                 if (ret == 0)
 229                         return 0;
 230         }
 231         return -ENOMEM;
 232 }
 233
 234 /**
 235  * pci_bus_alloc_resource - allocate a resource from a parent bus
 236  * @bus: PCI bus
 237  * @res: resource to allocate
 238  * @size: size of resource to allocate
 239  * @align: alignment of resource to allocate
 240  * @min: minimum /proc/iomem address to allocate
 241  * @type_mask: IORESOURCE_* type flags
 242  * @alignf: resource alignment function
 243  * @alignf_data: data argument for resource alignment function
 244  *
 245  * Given the PCI bus a device resides on, the size, minimum address,
 246  * alignment and type, try to find an acceptable resource allocation
 247  * for a specific device resource.
 248  */
 249 int pci_bus_alloc_resource(struct pci_bus *bus, struct resource *res,
 250                 resource_size_t size, resource_size_t align,
 251                 resource_size_t min, unsigned long type_mask,
 252                 resource_size_t (*alignf)(void *,
 253                                           const struct resource *,
 254                                           resource_size_t,
 255                                           resource_size_t),
 256                 void *alignf_data)
 257 {
 258 #ifdef CONFIG_ARCH_DMA_ADDR_T_64BIT
 259         int rc;
 260
 261         if (res->flags & IORESOURCE_MEM_64) {
 262                 rc = pci_bus_alloc_from_region(bus, res, size, align, min,
 263                                                type_mask, alignf, alignf_data,
 264                                                &pci_high);
 265                 if (rc == 0)
 266                         return 0;
 267
 268                 return pci_bus_alloc_from_region(bus, res, size, align, min,
 269                                                  type_mask, alignf, alignf_data,
 270                                                  &pci_64_bit);
 271         }
 272 #endif
 273
 274         return pci_bus_alloc_from_region(bus, res, size, align, min,
 275                                          type_mask, alignf, alignf_data,
 276                                          &pci_32_bit);
 277 }
 278 EXPORT_SYMBOL(pci_bus_alloc_resource);
 279
 280 /*
 281  * The @idx resource of @dev should be a PCI-PCI bridge window.  If this
 282  * resource fits inside a window of an upstream bridge, do nothing.  If it
 283  * overlaps an upstream window but extends outside it, clip the resource so
 284  * it fits completely inside.
 285  */
 286 bool pci_bus_clip_resource(struct pci_dev *dev, int idx)
 287 {
 288         struct pci_bus *bus = dev->bus;
 289         struct resource *res = &dev->resource[idx];
 290         struct resource orig_res = *res;
 291         struct resource *r;
 292
 293         pci_bus_for_each_resource(bus, r) {
 294                 resource_size_t start, end;
 295
 296                 if (!r)
 297                         continue;
 298
 299                 if (resource_type(res) != resource_type(r))
 300                         continue;
 301
 302                 start = max(r->start, res->start);
 303                 end = min(r->end, res->end);
 304
 305                 if (start > end)
 306                         continue;       /* no overlap */
 307
 308                 if (res->start == start && res->end == end)
 309                         return false;   /* no change */
 310
 311                 res->start = start;
 312                 res->end = end;
 313                 res->flags &= ~IORESOURCE_UNSET;
 314                 orig_res.flags &= ~IORESOURCE_UNSET;
 315                 pci_info(dev, "%pR clipped to %pR\n", &orig_res, res);
 316
 317                 return true;
 318         }
 319
 320         return false;
 321 }
 322
 323 void __weak pcibios_resource_survey_bus(struct pci_bus *bus) { }
 324
 325 void __weak pcibios_bus_add_device(struct pci_dev *pdev) { }
 326
 327 /**
 328  * pci_bus_add_device - start driver for a single device
 329  * @dev: device to add
 330  *
 331  * This adds add sysfs entries and start device drivers
 332  */
 333 void pci_bus_add_device(struct pci_dev *dev)
 334 {
 335         int retval;
 336
 337         /*
 338          * Can not put in pci_device_add yet because resources
 339          * are not assigned yet for some devices.
 340          */
 341         pcibios_bus_add_device(dev);
 342         pci_fixup_device(pci_fixup_final, dev);
 343         pci_create_sysfs_dev_files(dev);
 344         pci_proc_attach_device(dev);
 345         pci_bridge_d3_update(dev);
 346
 347         dev->match_driver = true;
 348         retval = device_attach(&dev->dev);
 349         if (retval < 0 && retval != -EPROBE_DEFER)
 350                 pci_warn(dev, "device attach failed (%d)\n", retval);
 351
 352         pci_dev_assign_added(dev, true);
 353 }
 354 EXPORT_SYMBOL_GPL(pci_bus_add_device);
 355
 356 /**
 357  * pci_bus_add_devices - start driver for PCI devices
 358  * @bus: bus to check for new devices
 359  *
 360  * Start driver for PCI devices and add some sysfs entries.
 361  */
 362 void pci_bus_add_devices(const struct pci_bus *bus)
 363 {
 364         struct pci_dev *dev;
 365         struct pci_bus *child;
 366
 367         list_for_each_entry(dev, &bus->devices, bus_list) {
 368                 /* Skip already-added devices */
 369                 if (pci_dev_is_added(dev))
 370                         continue;
 371                 pci_bus_add_device(dev);
 372         }
 373
 374         list_for_each_entry(dev, &bus->devices, bus_list) {
 375                 /* Skip if device attach failed */
 376                 if (!pci_dev_is_added(dev))
 377                         continue;
 378                 child = dev->subordinate;
 379                 if (child)
 380                         pci_bus_add_devices(child);
 381         }
 382 }
 383 EXPORT_SYMBOL(pci_bus_add_devices);
 384
 385 /** pci_walk_bus - walk devices on/under bus, calling callback.
 386  *  @top      bus whose devices should be walked
 387  *  @cb       callback to be called for each device found
 388  *  @userdata arbitrary pointer to be passed to callback.
 389  *
 390  *  Walk the given bus, including any bridged devices
 391  *  on buses under this bus.  Call the provided callback
 392  *  on each device found.
 393  *
 394  *  We check the return of @cb each time. If it returns anything
 395  *  other than 0, we break out.
 396  *
 397  */
 398 void pci_walk_bus(struct pci_bus *top, int (*cb)(struct pci_dev *, void *),
 399                   void *userdata)
 400 {
 401         struct pci_dev *dev;
 402         struct pci_bus *bus;
 403         struct list_head *next;
 404         int retval;
 405
 406         bus = top;
 407         down_read(&pci_bus_sem);
 408         next = top->devices.next;
 409         for (;;) {
 410                 if (next == &bus->devices) {
 411                         /* end of this bus, go up or finish */
 412                         if (bus == top)
 413                                 break;
 414                         next = bus->self->bus_list.next;
 415                         bus = bus->self->bus;
 416                         continue;
 417                 }
 418                 dev = list_entry(next, struct pci_dev, bus_list);
 419                 if (dev->subordinate) {
 420                         /* this is a pci-pci bridge, do its devices next */
 421                         next = dev->subordinate->devices.next;
 422                         bus = dev->subordinate;
 423                 } else
 424                         next = dev->bus_list.next;
 425
 426                 retval = cb(dev, userdata);
 427                 if (retval)
 428                         break;
 429         }
 430         up_read(&pci_bus_sem);
 431 }
 432 EXPORT_SYMBOL_GPL(pci_walk_bus);
 433
 434 struct pci_bus *pci_bus_get(struct pci_bus *bus)
 435 {
 436         if (bus)
 437                 get_device(&bus->dev);
 438         return bus;
 439 }
 440
 441 void pci_bus_put(struct pci_bus *bus)
 442 {
 443         if (bus)
 444                 put_device(&bus->dev);
 445 }