drivers/of/fdt.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Functions for working with the Flattened Device Tree data format
   4  *
   5  * Copyright 2009 Benjamin Herrenschmidt, IBM Corp
   6  * benh@kernel.crashing.org
   7  */
   8
   9 #define pr_fmt(fmt)     "OF: fdt: " fmt
  10
  11 #include <linux/crash_dump.h>
  12 #include <linux/crc32.h>
  13 #include <linux/kernel.h>
  14 #include <linux/initrd.h>
  15 #include <linux/memblock.h>
  16 #include <linux/mutex.h>
  17 #include <linux/of.h>
  18 #include <linux/of_fdt.h>
  19 #include <linux/of_reserved_mem.h>
  20 #include <linux/sizes.h>
  21 #include <linux/string.h>
  22 #include <linux/errno.h>
  23 #include <linux/slab.h>
  24 #include <linux/libfdt.h>
  25 #include <linux/debugfs.h>
  26 #include <linux/serial_core.h>
  27 #include <linux/sysfs.h>
  28 #include <linux/random.h>
  29
  30 #include <asm/setup.h>  /* for COMMAND_LINE_SIZE */
  31 #include <asm/page.h>
  32
  33 #include "of_private.h"
  34
  35 /*
  36  * of_fdt_limit_memory - limit the number of regions in the /memory node
  37  * @limit: maximum entries
  38  *
  39  * Adjust the flattened device tree to have at most 'limit' number of
  40  * memory entries in the /memory node. This function may be called
  41  * any time after initial_boot_param is set.
  42  */
  43 void __init of_fdt_limit_memory(int limit)
  44 {
  45         int memory;
  46         int len;
  47         const void *val;
  48         int nr_address_cells = OF_ROOT_NODE_ADDR_CELLS_DEFAULT;
  49         int nr_size_cells = OF_ROOT_NODE_SIZE_CELLS_DEFAULT;
  50         const __be32 *addr_prop;
  51         const __be32 *size_prop;
  52         int root_offset;
  53         int cell_size;
  54
  55         root_offset = fdt_path_offset(initial_boot_params, "/");
  56         if (root_offset < 0)
  57                 return;
  58
  59         addr_prop = fdt_getprop(initial_boot_params, root_offset,
  60                                 "#address-cells", NULL);
  61         if (addr_prop)
  62                 nr_address_cells = fdt32_to_cpu(*addr_prop);
  63
  64         size_prop = fdt_getprop(initial_boot_params, root_offset,
  65                                 "#size-cells", NULL);
  66         if (size_prop)
  67                 nr_size_cells = fdt32_to_cpu(*size_prop);
  68
  69         cell_size = sizeof(uint32_t)*(nr_address_cells + nr_size_cells);
  70
  71         memory = fdt_path_offset(initial_boot_params, "/memory");
  72         if (memory > 0) {
  73                 val = fdt_getprop(initial_boot_params, memory, "reg", &len);
  74                 if (len > limit*cell_size) {
  75                         len = limit*cell_size;
  76                         pr_debug("Limiting number of entries to %d\n", limit);
  77                         fdt_setprop(initial_boot_params, memory, "reg", val,
  78                                         len);
  79                 }
  80         }
  81 }
  82
  83 static bool of_fdt_device_is_available(const void *blob, unsigned long node)
  84 {
  85         const char *status = fdt_getprop(blob, node, "status", NULL);
  86
  87         if (!status)
  88                 return true;
  89
  90         if (!strcmp(status, "ok") || !strcmp(status, "okay"))
  91                 return true;
  92
  93         return false;
  94 }
  95
  96 static void *unflatten_dt_alloc(void **mem, unsigned long size,
  97                                        unsigned long align)
  98 {
  99         void *res;
 100
 101         *mem = PTR_ALIGN(*mem, align);
 102         res = *mem;
 103         *mem += size;
 104
 105         return res;
 106 }
 107
 108 static void populate_properties(const void *blob,
 109                                 int offset,
 110                                 void **mem,
 111                                 struct device_node *np,
 112                                 const char *nodename,
 113                                 bool dryrun)
 114 {
 115         struct property *pp, **pprev = NULL;
 116         int cur;
 117         bool has_name = false;
 118
 119         pprev = &np->properties;
 120         for (cur = fdt_first_property_offset(blob, offset);
 121              cur >= 0;
 122              cur = fdt_next_property_offset(blob, cur)) {
 123                 const __be32 *val;
 124                 const char *pname;
 125                 u32 sz;
 126
 127                 val = fdt_getprop_by_offset(blob, cur, &pname, &sz);
 128                 if (!val) {
 129                         pr_warn("Cannot locate property at 0x%x\n", cur);
 130                         continue;
 131                 }
 132
 133                 if (!pname) {
 134                         pr_warn("Cannot find property name at 0x%x\n", cur);
 135                         continue;
 136                 }
 137
 138                 if (!strcmp(pname, "name"))
 139                         has_name = true;
 140
 141                 pp = unflatten_dt_alloc(mem, sizeof(struct property),
 142                                         __alignof__(struct property));
 143                 if (dryrun)
 144                         continue;
 145
 146                 /* We accept flattened tree phandles either in
 147                  * ePAPR-style "phandle" properties, or the
 148                  * legacy "linux,phandle" properties.  If both
 149                  * appear and have different values, things
 150                  * will get weird. Don't do that.
 151                  */
 152                 if (!strcmp(pname, "phandle") ||
 153                     !strcmp(pname, "linux,phandle")) {
 154                         if (!np->phandle)
 155                                 np->phandle = be32_to_cpup(val);
 156                 }
 157
 158                 /* And we process the "ibm,phandle" property
 159                  * used in pSeries dynamic device tree
 160                  * stuff
 161                  */
 162                 if (!strcmp(pname, "ibm,phandle"))
 163                         np->phandle = be32_to_cpup(val);
 164
 165                 pp->name   = (char *)pname;
 166                 pp->length = sz;
 167                 pp->value  = (__be32 *)val;
 168                 *pprev     = pp;
 169                 pprev      = &pp->next;
 170         }
 171
 172         /* With version 0x10 we may not have the name property,
 173          * recreate it here from the unit name if absent
 174          */
 175         if (!has_name) {
 176                 const char *p = nodename, *ps = p, *pa = NULL;
 177                 int len;
 178
 179                 while (*p) {
 180                         if ((*p) == '@')
 181                                 pa = p;
 182                         else if ((*p) == '/')
 183                                 ps = p + 1;
 184                         p++;
 185                 }
 186
 187                 if (pa < ps)
 188                         pa = p;
 189                 len = (pa - ps) + 1;
 190                 pp = unflatten_dt_alloc(mem, sizeof(struct property) + len,
 191                                         __alignof__(struct property));
 192                 if (!dryrun) {
 193                         pp->name   = "name";
 194                         pp->length = len;
 195                         pp->value  = pp + 1;
 196                         *pprev     = pp;
 197                         memcpy(pp->value, ps, len - 1);
 198                         ((char *)pp->value)[len - 1] = 0;
 199                         pr_debug("fixed up name for %s -> %s\n",
 200                                  nodename, (char *)pp->value);
 201                 }
 202         }
 203 }
 204
 205 static int populate_node(const void *blob,
 206                           int offset,
 207                           void **mem,
 208                           struct device_node *dad,
 209                           struct device_node **pnp,
 210                           bool dryrun)
 211 {
 212         struct device_node *np;
 213         const char *pathp;
 214         int len;
 215
 216         pathp = fdt_get_name(blob, offset, &len);
 217         if (!pathp) {
 218                 *pnp = NULL;
 219                 return len;
 220         }
 221
 222         len++;
 223
 224         np = unflatten_dt_alloc(mem, sizeof(struct device_node) + len,
 225                                 __alignof__(struct device_node));
 226         if (!dryrun) {
 227                 char *fn;
 228                 of_node_init(np);
 229                 np->full_name = fn = ((char *)np) + sizeof(*np);
 230
 231                 memcpy(fn, pathp, len);
 232
 233                 if (dad != NULL) {
 234                         np->parent = dad;
 235                         np->sibling = dad->child;
 236                         dad->child = np;
 237                 }
 238         }
 239
 240         populate_properties(blob, offset, mem, np, pathp, dryrun);
 241         if (!dryrun) {
 242                 np->name = of_get_property(np, "name", NULL);
 243                 if (!np->name)
 244                         np->name = "<NULL>";
 245         }
 246
 247         *pnp = np;
 248         return true;
 249 }
 250
 251 static void reverse_nodes(struct device_node *parent)
 252 {
 253         struct device_node *child, *next;
 254
 255         /* In-depth first */
 256         child = parent->child;
 257         while (child) {
 258                 reverse_nodes(child);
 259
 260                 child = child->sibling;
 261         }
 262
 263         /* Reverse the nodes in the child list */
 264         child = parent->child;
 265         parent->child = NULL;
 266         while (child) {
 267                 next = child->sibling;
 268
 269                 child->sibling = parent->child;
 270                 parent->child = child;
 271                 child = next;
 272         }
 273 }
 274
 275 /**
 276  * unflatten_dt_nodes - Alloc and populate a device_node from the flat tree
 277  * @blob: The parent device tree blob
 278  * @mem: Memory chunk to use for allocating device nodes and properties
 279  * @dad: Parent struct device_node
 280  * @nodepp: The device_node tree created by the call
 281  *
 282  * Return: The size of unflattened device tree or error code
 283  */
 284 static int unflatten_dt_nodes(const void *blob,
 285                               void *mem,
 286                               struct device_node *dad,
 287                               struct device_node **nodepp)
 288 {
 289         struct device_node *root;
 290         int offset = 0, depth = 0, initial_depth = 0;
 291 #define FDT_MAX_DEPTH   64
 292         struct device_node *nps[FDT_MAX_DEPTH];
 293         void *base = mem;
 294         bool dryrun = !base;
 295         int ret;
 296
 297         if (nodepp)
 298                 *nodepp = NULL;
 299
 300         /*
 301          * We're unflattening device sub-tree if @dad is valid. There are
 302          * possibly multiple nodes in the first level of depth. We need
 303          * set @depth to 1 to make fdt_next_node() happy as it bails
 304          * immediately when negative @depth is found. Otherwise, the device
 305          * nodes except the first one won't be unflattened successfully.
 306          */
 307         if (dad)
 308                 depth = initial_depth = 1;
 309
 310         root = dad;
 311         nps[depth] = dad;
 312
 313         for (offset = 0;
 314              offset >= 0 && depth >= initial_depth;
 315              offset = fdt_next_node(blob, offset, &depth)) {
 316                 if (WARN_ON_ONCE(depth >= FDT_MAX_DEPTH))
 317                         continue;
 318
 319                 if (!IS_ENABLED(CONFIG_OF_KOBJ) &&
 320                     !of_fdt_device_is_available(blob, offset))
 321                         continue;
 322
 323                 ret = populate_node(blob, offset, &mem, nps[depth],
 324                                    &nps[depth+1], dryrun);
 325                 if (ret < 0)
 326                         return ret;
 327
 328                 if (!dryrun && nodepp && !*nodepp)
 329                         *nodepp = nps[depth+1];
 330                 if (!dryrun && !root)
 331                         root = nps[depth+1];
 332         }
 333
 334         if (offset < 0 && offset != -FDT_ERR_NOTFOUND) {
 335                 pr_err("Error %d processing FDT\n", offset);
 336                 return -EINVAL;
 337         }
 338
 339         /*
 340          * Reverse the child list. Some drivers assumes node order matches .dts
 341          * node order
 342          */
 343         if (!dryrun)
 344                 reverse_nodes(root);
 345
 346         return mem - base;
 347 }
 348
 349 /**
 350  * __unflatten_device_tree - create tree of device_nodes from flat blob
 351  * @blob: The blob to expand
 352  * @dad: Parent device node
 353  * @mynodes: The device_node tree created by the call
 354  * @dt_alloc: An allocator that provides a virtual address to memory
 355  * for the resulting tree
 356  * @detached: if true set OF_DETACHED on @mynodes
 357  *
 358  * unflattens a device-tree, creating the tree of struct device_node. It also
 359  * fills the "name" and "type" pointers of the nodes so the normal device-tree
 360  * walking functions can be used.
 361  *
 362  * Return: NULL on failure or the memory chunk containing the unflattened
 363  * device tree on success.
 364  */
 365 void *__unflatten_device_tree(const void *blob,
 366                               struct device_node *dad,
 367                               struct device_node **mynodes,
 368                               void *(*dt_alloc)(u64 size, u64 align),
 369                               bool detached)
 370 {
 371         int size;
 372         void *mem;
 373         int ret;
 374
 375         if (mynodes)
 376                 *mynodes = NULL;
 377
 378         pr_debug(" -> unflatten_device_tree()\n");
 379
 380         if (!blob) {
 381                 pr_debug("No device tree pointer\n");
 382                 return NULL;
 383         }
 384
 385         pr_debug("Unflattening device tree:\n");
 386         pr_debug("magic: %08x\n", fdt_magic(blob));
 387         pr_debug("size: %08x\n", fdt_totalsize(blob));
 388         pr_debug("version: %08x\n", fdt_version(blob));
 389
 390         if (fdt_check_header(blob)) {
 391                 pr_err("Invalid device tree blob header\n");
 392                 return NULL;
 393         }
 394
 395         /* First pass, scan for size */
 396         size = unflatten_dt_nodes(blob, NULL, dad, NULL);
 397         if (size <= 0)
 398                 return NULL;
 399
 400         size = ALIGN(size, 4);
 401         pr_debug("  size is %d, allocating...\n", size);
 402
 403         /* Allocate memory for the expanded device tree */
 404         mem = dt_alloc(size + 4, __alignof__(struct device_node));
 405         if (!mem)
 406                 return NULL;
 407
 408         memset(mem, 0, size);
 409
 410         *(__be32 *)(mem + size) = cpu_to_be32(0xdeadbeef);
 411
 412         pr_debug("  unflattening %p...\n", mem);
 413
 414         /* Second pass, do actual unflattening */
 415         ret = unflatten_dt_nodes(blob, mem, dad, mynodes);
 416
 417         if (be32_to_cpup(mem + size) != 0xdeadbeef)
 418                 pr_warn("End of tree marker overwritten: %08x\n",
 419                         be32_to_cpup(mem + size));
 420
 421         if (ret <= 0)
 422                 return NULL;
 423
 424         if (detached && mynodes && *mynodes) {
 425                 of_node_set_flag(*mynodes, OF_DETACHED);
 426                 pr_debug("unflattened tree is detached\n");
 427         }
 428
 429         pr_debug(" <- unflatten_device_tree()\n");
 430         return mem;
 431 }
 432
 433 static void *kernel_tree_alloc(u64 size, u64 align)
 434 {
 435         return kzalloc(size, GFP_KERNEL);
 436 }
 437
 438 static DEFINE_MUTEX(of_fdt_unflatten_mutex);
 439
 440 /**
 441  * of_fdt_unflatten_tree - create tree of device_nodes from flat blob
 442  * @blob: Flat device tree blob
 443  * @dad: Parent device node
 444  * @mynodes: The device tree created by the call
 445  *
 446  * unflattens the device-tree passed by the firmware, creating the
 447  * tree of struct device_node. It also fills the "name" and "type"
 448  * pointers of the nodes so the normal device-tree walking functions
 449  * can be used.
 450  *
 451  * Return: NULL on failure or the memory chunk containing the unflattened
 452  * device tree on success.
 453  */
 454 void *of_fdt_unflatten_tree(const unsigned long *blob,
 455                             struct device_node *dad,
 456                             struct device_node **mynodes)
 457 {
 458         void *mem;
 459
 460         mutex_lock(&of_fdt_unflatten_mutex);
 461         mem = __unflatten_device_tree(blob, dad, mynodes, &kernel_tree_alloc,
 462                                       true);
 463         mutex_unlock(&of_fdt_unflatten_mutex);
 464
 465         return mem;
 466 }
 467 EXPORT_SYMBOL_GPL(of_fdt_unflatten_tree);
 468
 469 /* Everything below here references initial_boot_params directly. */
 470 int __initdata dt_root_addr_cells;
 471 int __initdata dt_root_size_cells;
 472
 473 void *initial_boot_params __ro_after_init;
 474
 475 #ifdef CONFIG_OF_EARLY_FLATTREE
 476
 477 static u32 of_fdt_crc32;
 478
 479 static int __init early_init_dt_reserve_memory_arch(phys_addr_t base,
 480                                         phys_addr_t size, bool nomap)
 481 {
 482         if (nomap) {
 483                 /*
 484                  * If the memory is already reserved (by another region), we
 485                  * should not allow it to be marked nomap.
 486                  */
 487                 if (memblock_is_region_reserved(base, size))
 488                         return -EBUSY;
 489
 490                 return memblock_mark_nomap(base, size);
 491         }
 492         return memblock_reserve(base, size);
 493 }
 494
 495 /*
 496  * __reserved_mem_reserve_reg() - reserve all memory described in 'reg' property
 497  */
 498 static int __init __reserved_mem_reserve_reg(unsigned long node,
 499                                              const char *uname)
 500 {
 501         int t_len = (dt_root_addr_cells + dt_root_size_cells) * sizeof(__be32);
 502         phys_addr_t base, size;
 503         int len;
 504         const __be32 *prop;
 505         int first = 1;
 506         bool nomap;
 507
 508         prop = of_get_flat_dt_prop(node, "reg", &len);
 509         if (!prop)
 510                 return -ENOENT;
 511
 512         if (len && len % t_len != 0) {
 513                 pr_err("Reserved memory: invalid reg property in '%s', skipping node.\n",
 514                        uname);
 515                 return -EINVAL;
 516         }
 517
 518         nomap = of_get_flat_dt_prop(node, "no-map", NULL) != NULL;
 519
 520         while (len >= t_len) {
 521                 base = dt_mem_next_cell(dt_root_addr_cells, &prop);
 522                 size = dt_mem_next_cell(dt_root_size_cells, &prop);
 523
 524                 if (size &&
 525                     early_init_dt_reserve_memory_arch(base, size, nomap) == 0)
 526                         pr_debug("Reserved memory: reserved region for node '%s': base %pa, size %lu MiB\n",
 527                                 uname, &base, (unsigned long)(size / SZ_1M));
 528                 else
 529                         pr_info("Reserved memory: failed to reserve memory for node '%s': base %pa, size %lu MiB\n",
 530                                 uname, &base, (unsigned long)(size / SZ_1M));
 531
 532                 len -= t_len;
 533                 if (first) {
 534                         fdt_reserved_mem_save_node(node, uname, base, size);
 535                         first = 0;
 536                 }
 537         }
 538         return 0;
 539 }
 540
 541 /*
 542  * __reserved_mem_check_root() - check if #size-cells, #address-cells provided
 543  * in /reserved-memory matches the values supported by the current implementation,
 544  * also check if ranges property has been provided
 545  */
 546 static int __init __reserved_mem_check_root(unsigned long node)
 547 {
 548         const __be32 *prop;
 549
 550         prop = of_get_flat_dt_prop(node, "#size-cells", NULL);
 551         if (!prop || be32_to_cpup(prop) != dt_root_size_cells)
 552                 return -EINVAL;
 553
 554         prop = of_get_flat_dt_prop(node, "#address-cells", NULL);
 555         if (!prop || be32_to_cpup(prop) != dt_root_addr_cells)
 556                 return -EINVAL;
 557
 558         prop = of_get_flat_dt_prop(node, "ranges", NULL);
 559         if (!prop)
 560                 return -EINVAL;
 561         return 0;
 562 }
 563
 564 /*
 565  * fdt_scan_reserved_mem() - scan a single FDT node for reserved memory
 566  */
 567 static int __init fdt_scan_reserved_mem(void)
 568 {
 569         int node, child;
 570         const void *fdt = initial_boot_params;
 571
 572         node = fdt_path_offset(fdt, "/reserved-memory");
 573         if (node < 0)
 574                 return -ENODEV;
 575
 576         if (__reserved_mem_check_root(node) != 0) {
 577                 pr_err("Reserved memory: unsupported node format, ignoring\n");
 578                 return -EINVAL;
 579         }
 580
 581         fdt_for_each_subnode(child, fdt, node) {
 582                 const char *uname;
 583                 int err;
 584
 585                 if (!of_fdt_device_is_available(fdt, child))
 586                         continue;
 587
 588                 uname = fdt_get_name(fdt, child, NULL);
 589
 590                 err = __reserved_mem_reserve_reg(child, uname);
 591                 if (err == -ENOENT && of_get_flat_dt_prop(child, "size", NULL))
 592                         fdt_reserved_mem_save_node(child, uname, 0, 0);
 593         }
 594         return 0;
 595 }
 596
 597 /*
 598  * fdt_reserve_elfcorehdr() - reserves memory for elf core header
 599  *
 600  * This function reserves the memory occupied by an elf core header
 601  * described in the device tree. This region contains all the
 602  * information about primary kernel's core image and is used by a dump
 603  * capture kernel to access the system memory on primary kernel.
 604  */
 605 static void __init fdt_reserve_elfcorehdr(void)
 606 {
 607         if (!IS_ENABLED(CONFIG_CRASH_DUMP) || !elfcorehdr_size)
 608                 return;
 609
 610         if (memblock_is_region_reserved(elfcorehdr_addr, elfcorehdr_size)) {
 611                 pr_warn("elfcorehdr is overlapped\n");
 612                 return;
 613         }
 614
 615         memblock_reserve(elfcorehdr_addr, elfcorehdr_size);
 616
 617         pr_info("Reserving %llu KiB of memory at 0x%llx for elfcorehdr\n",
 618                 elfcorehdr_size >> 10, elfcorehdr_addr);
 619 }
 620
 621 /**
 622  * early_init_fdt_scan_reserved_mem() - create reserved memory regions
 623  *
 624  * This function grabs memory from early allocator for device exclusive use
 625  * defined in device tree structures. It should be called by arch specific code
 626  * once the early allocator (i.e. memblock) has been fully activated.
 627  */
 628 void __init early_init_fdt_scan_reserved_mem(void)
 629 {
 630         int n;
 631         u64 base, size;
 632
 633         if (!initial_boot_params)
 634                 return;
 635
 636         /* Process header /memreserve/ fields */
 637         for (n = 0; ; n++) {
 638                 fdt_get_mem_rsv(initial_boot_params, n, &base, &size);
 639                 if (!size)
 640                         break;
 641                 early_init_dt_reserve_memory_arch(base, size, false);
 642         }
 643
 644         fdt_scan_reserved_mem();
 645         fdt_init_reserved_mem();
 646         fdt_reserve_elfcorehdr();
 647 }
 648
 649 /**
 650  * early_init_fdt_reserve_self() - reserve the memory used by the FDT blob
 651  */
 652 void __init early_init_fdt_reserve_self(void)
 653 {
 654         if (!initial_boot_params)
 655                 return;
 656
 657         /* Reserve the dtb region */
 658         early_init_dt_reserve_memory_arch(__pa(initial_boot_params),
 659                                           fdt_totalsize(initial_boot_params),
 660                                           false);
 661 }
 662
 663 /**
 664  * of_scan_flat_dt - scan flattened tree blob and call callback on each.
 665  * @it: callback function
 666  * @data: context data pointer
 667  *
 668  * This function is used to scan the flattened device-tree, it is
 669  * used to extract the memory information at boot before we can
 670  * unflatten the tree
 671  */
 672 int __init of_scan_flat_dt(int (*it)(unsigned long node,
 673                                      const char *uname, int depth,
 674                                      void *data),
 675                            void *data)
 676 {
 677         const void *blob = initial_boot_params;
 678         const char *pathp;
 679         int offset, rc = 0, depth = -1;
 680
 681         if (!blob)
 682                 return 0;
 683
 684         for (offset = fdt_next_node(blob, -1, &depth);
 685              offset >= 0 && depth >= 0 && !rc;
 686              offset = fdt_next_node(blob, offset, &depth)) {
 687
 688                 pathp = fdt_get_name(blob, offset, NULL);
 689                 rc = it(offset, pathp, depth, data);
 690         }
 691         return rc;
 692 }
 693
 694 /**
 695  * of_scan_flat_dt_subnodes - scan sub-nodes of a node call callback on each.
 696  * @parent: parent node
 697  * @it: callback function
 698  * @data: context data pointer
 699  *
 700  * This function is used to scan sub-nodes of a node.
 701  */
 702 int __init of_scan_flat_dt_subnodes(unsigned long parent,
 703                                     int (*it)(unsigned long node,
 704                                               const char *uname,
 705                                               void *data),
 706                                     void *data)
 707 {
 708         const void *blob = initial_boot_params;
 709         int node;
 710
 711         fdt_for_each_subnode(node, blob, parent) {
 712                 const char *pathp;
 713                 int rc;
 714
 715                 pathp = fdt_get_name(blob, node, NULL);
 716                 rc = it(node, pathp, data);
 717                 if (rc)
 718                         return rc;
 719         }
 720         return 0;
 721 }
 722
 723 /**
 724  * of_get_flat_dt_subnode_by_name - get the subnode by given name
 725  *
 726  * @node: the parent node
 727  * @uname: the name of subnode
 728  * @return offset of the subnode, or -FDT_ERR_NOTFOUND if there is none
 729  */
 730
 731 int __init of_get_flat_dt_subnode_by_name(unsigned long node, const char *uname)
 732 {
 733         return fdt_subnode_offset(initial_boot_params, node, uname);
 734 }
 735
 736 /*
 737  * of_get_flat_dt_root - find the root node in the flat blob
 738  */
 739 unsigned long __init of_get_flat_dt_root(void)
 740 {
 741         return 0;
 742 }
 743
 744 /*
 745  * of_get_flat_dt_prop - Given a node in the flat blob, return the property ptr
 746  *
 747  * This function can be used within scan_flattened_dt callback to get
 748  * access to properties
 749  */
 750 const void *__init of_get_flat_dt_prop(unsigned long node, const char *name,
 751                                        int *size)
 752 {
 753         return fdt_getprop(initial_boot_params, node, name, size);
 754 }
 755
 756 /**
 757  * of_fdt_is_compatible - Return true if given node from the given blob has
 758  * compat in its compatible list
 759  * @blob: A device tree blob
 760  * @node: node to test
 761  * @compat: compatible string to compare with compatible list.
 762  *
 763  * Return: a non-zero value on match with smaller values returned for more
 764  * specific compatible values.
 765  */
 766 static int of_fdt_is_compatible(const void *blob,
 767                       unsigned long node, const char *compat)
 768 {
 769         const char *cp;
 770         int cplen;
 771         unsigned long l, score = 0;
 772
 773         cp = fdt_getprop(blob, node, "compatible", &cplen);
 774         if (cp == NULL)
 775                 return 0;
 776         while (cplen > 0) {
 777                 score++;
 778                 if (of_compat_cmp(cp, compat, strlen(compat)) == 0)
 779                         return score;
 780                 l = strlen(cp) + 1;
 781                 cp += l;
 782                 cplen -= l;
 783         }
 784
 785         return 0;
 786 }
 787
 788 /**
 789  * of_flat_dt_is_compatible - Return true if given node has compat in compatible list
 790  * @node: node to test
 791  * @compat: compatible string to compare with compatible list.
 792  */
 793 int __init of_flat_dt_is_compatible(unsigned long node, const char *compat)
 794 {
 795         return of_fdt_is_compatible(initial_boot_params, node, compat);
 796 }
 797
 798 /*
 799  * of_flat_dt_match - Return true if node matches a list of compatible values
 800  */
 801 static int __init of_flat_dt_match(unsigned long node, const char *const *compat)
 802 {
 803         unsigned int tmp, score = 0;
 804
 805         if (!compat)
 806                 return 0;
 807
 808         while (*compat) {
 809                 tmp = of_fdt_is_compatible(initial_boot_params, node, *compat);
 810                 if (tmp && (score == 0 || (tmp < score)))
 811                         score = tmp;
 812                 compat++;
 813         }
 814
 815         return score;
 816 }
 817
 818 /*
 819  * of_get_flat_dt_phandle - Given a node in the flat blob, return the phandle
 820  */
 821 uint32_t __init of_get_flat_dt_phandle(unsigned long node)
 822 {
 823         return fdt_get_phandle(initial_boot_params, node);
 824 }
 825
 826 struct fdt_scan_status {
 827         const char *name;
 828         int namelen;
 829         int depth;
 830         int found;
 831         int (*iterator)(unsigned long node, const char *uname, int depth, void *data);
 832         void *data;
 833 };
 834
 835 const char * __init of_flat_dt_get_machine_name(void)
 836 {
 837         const char *name;
 838         unsigned long dt_root = of_get_flat_dt_root();
 839
 840         name = of_get_flat_dt_prop(dt_root, "model", NULL);
 841         if (!name)
 842                 name = of_get_flat_dt_prop(dt_root, "compatible", NULL);
 843         return name;
 844 }
 845
 846 /**
 847  * of_flat_dt_match_machine - Iterate match tables to find matching machine.
 848  *
 849  * @default_match: A machine specific ptr to return in case of no match.
 850  * @get_next_compat: callback function to return next compatible match table.
 851  *
 852  * Iterate through machine match tables to find the best match for the machine
 853  * compatible string in the FDT.
 854  */
 855 const void * __init of_flat_dt_match_machine(const void *default_match,
 856                 const void * (*get_next_compat)(const char * const**))
 857 {
 858         const void *data = NULL;
 859         const void *best_data = default_match;
 860         const char *const *compat;
 861         unsigned long dt_root;
 862         unsigned int best_score = ~1, score = 0;
 863
 864         dt_root = of_get_flat_dt_root();
 865         while ((data = get_next_compat(&compat))) {
 866                 score = of_flat_dt_match(dt_root, compat);
 867                 if (score > 0 && score < best_score) {
 868                         best_data = data;
 869                         best_score = score;
 870                 }
 871         }
 872         if (!best_data) {
 873                 const char *prop;
 874                 int size;
 875
 876                 pr_err("\n unrecognized device tree list:\n[ ");
 877
 878                 prop = of_get_flat_dt_prop(dt_root, "compatible", &size);
 879                 if (prop) {
 880                         while (size > 0) {
 881                                 printk("'%s' ", prop);
 882                                 size -= strlen(prop) + 1;
 883                                 prop += strlen(prop) + 1;
 884                         }
 885                 }
 886                 printk("]\n\n");
 887                 return NULL;
 888         }
 889
 890         pr_info("Machine model: %s\n", of_flat_dt_get_machine_name());
 891
 892         return best_data;
 893 }
 894
 895 static void __early_init_dt_declare_initrd(unsigned long start,
 896                                            unsigned long end)
 897 {
 898         /* ARM64 would cause a BUG to occur here when CONFIG_DEBUG_VM is
 899          * enabled since __va() is called too early. ARM64 does make use
 900          * of phys_initrd_start/phys_initrd_size so we can skip this
 901          * conversion.
 902          */
 903         if (!IS_ENABLED(CONFIG_ARM64)) {
 904                 initrd_start = (unsigned long)__va(start);
 905                 initrd_end = (unsigned long)__va(end);
 906                 initrd_below_start_ok = 1;
 907         }
 908 }
 909
 910 /**
 911  * early_init_dt_check_for_initrd - Decode initrd location from flat tree
 912  * @node: reference to node containing initrd location ('chosen')
 913  */
 914 static void __init early_init_dt_check_for_initrd(unsigned long node)
 915 {
 916         u64 start, end;
 917         int len;
 918         const __be32 *prop;
 919
 920         if (!IS_ENABLED(CONFIG_BLK_DEV_INITRD))
 921                 return;
 922
 923         pr_debug("Looking for initrd properties... ");
 924
 925         prop = of_get_flat_dt_prop(node, "linux,initrd-start", &len);
 926         if (!prop)
 927                 return;
 928         start = of_read_number(prop, len/4);
 929
 930         prop = of_get_flat_dt_prop(node, "linux,initrd-end", &len);
 931         if (!prop)
 932                 return;
 933         end = of_read_number(prop, len/4);
 934
 935         __early_init_dt_declare_initrd(start, end);
 936         phys_initrd_start = start;
 937         phys_initrd_size = end - start;
 938
 939         pr_debug("initrd_start=0x%llx  initrd_end=0x%llx\n", start, end);
 940 }
 941
 942 /**
 943  * early_init_dt_check_for_elfcorehdr - Decode elfcorehdr location from flat
 944  * tree
 945  * @node: reference to node containing elfcorehdr location ('chosen')
 946  */
 947 static void __init early_init_dt_check_for_elfcorehdr(unsigned long node)
 948 {
 949         const __be32 *prop;
 950         int len;
 951
 952         if (!IS_ENABLED(CONFIG_CRASH_DUMP))
 953                 return;
 954
 955         pr_debug("Looking for elfcorehdr property... ");
 956
 957         prop = of_get_flat_dt_prop(node, "linux,elfcorehdr", &len);
 958         if (!prop || (len < (dt_root_addr_cells + dt_root_size_cells)))
 959                 return;
 960
 961         elfcorehdr_addr = dt_mem_next_cell(dt_root_addr_cells, &prop);
 962         elfcorehdr_size = dt_mem_next_cell(dt_root_size_cells, &prop);
 963
 964         pr_debug("elfcorehdr_start=0x%llx elfcorehdr_size=0x%llx\n",
 965                  elfcorehdr_addr, elfcorehdr_size);
 966 }
 967
 968 static phys_addr_t cap_mem_addr;
 969 static phys_addr_t cap_mem_size;
 970
 971 /**
 972  * early_init_dt_check_for_usable_mem_range - Decode usable memory range
 973  * location from flat tree
 974  * @node: reference to node containing usable memory range location ('chosen')
 975  */
 976 static void __init early_init_dt_check_for_usable_mem_range(unsigned long node)
 977 {
 978         const __be32 *prop;
 979         int len;
 980
 981         pr_debug("Looking for usable-memory-range property... ");
 982
 983         prop = of_get_flat_dt_prop(node, "linux,usable-memory-range", &len);
 984         if (!prop || (len < (dt_root_addr_cells + dt_root_size_cells)))
 985                 return;
 986
 987         cap_mem_addr = dt_mem_next_cell(dt_root_addr_cells, &prop);
 988         cap_mem_size = dt_mem_next_cell(dt_root_size_cells, &prop);
 989
 990         pr_debug("cap_mem_start=%pa cap_mem_size=%pa\n", &cap_mem_addr,
 991                  &cap_mem_size);
 992 }
 993
 994 #ifdef CONFIG_SERIAL_EARLYCON
 995
 996 int __init early_init_dt_scan_chosen_stdout(void)
 997 {
 998         int offset;
 999         const char *p, *q, *options = NULL;
1000         int l;
1001         const struct earlycon_id *match;
1002         const void *fdt = initial_boot_params;
1003
1004         offset = fdt_path_offset(fdt, "/chosen");
1005         if (offset < 0)
1006                 offset = fdt_path_offset(fdt, "/chosen@0");
1007         if (offset < 0)
1008                 return -ENOENT;
1009
1010         p = fdt_getprop(fdt, offset, "stdout-path", &l);
1011         if (!p)
1012                 p = fdt_getprop(fdt, offset, "linux,stdout-path", &l);
1013         if (!p || !l)
1014                 return -ENOENT;
1015
1016         q = strchrnul(p, ':');
1017         if (*q != '\0')
1018                 options = q + 1;
1019         l = q - p;
1020
1021         /* Get the node specified by stdout-path */
1022         offset = fdt_path_offset_namelen(fdt, p, l);
1023         if (offset < 0) {
1024                 pr_warn("earlycon: stdout-path %.*s not found\n", l, p);
1025                 return 0;
1026         }
1027
1028         for (match = __earlycon_table; match < __earlycon_table_end; match++) {
1029                 if (!match->compatible[0])
1030                         continue;
1031
1032                 if (fdt_node_check_compatible(fdt, offset, match->compatible))
1033                         continue;
1034
1035                 if (of_setup_earlycon(match, offset, options) == 0)
1036                         return 0;
1037         }
1038         return -ENODEV;
1039 }
1040 #endif
1041
1042 /*
1043  * early_init_dt_scan_root - fetch the top level address and size cells
1044  */
1045 int __init early_init_dt_scan_root(void)
1046 {
1047         const __be32 *prop;
1048         const void *fdt = initial_boot_params;
1049         int node = fdt_path_offset(fdt, "/");
1050
1051         if (node < 0)
1052                 return -ENODEV;
1053
1054         dt_root_size_cells = OF_ROOT_NODE_SIZE_CELLS_DEFAULT;
1055         dt_root_addr_cells = OF_ROOT_NODE_ADDR_CELLS_DEFAULT;
1056
1057         prop = of_get_flat_dt_prop(node, "#size-cells", NULL);
1058         if (prop)
1059                 dt_root_size_cells = be32_to_cpup(prop);
1060         pr_debug("dt_root_size_cells = %x\n", dt_root_size_cells);
1061
1062         prop = of_get_flat_dt_prop(node, "#address-cells", NULL);
1063         if (prop)
1064                 dt_root_addr_cells = be32_to_cpup(prop);
1065         pr_debug("dt_root_addr_cells = %x\n", dt_root_addr_cells);
1066
1067         return 0;
1068 }
1069
1070 u64 __init dt_mem_next_cell(int s, const __be32 **cellp)
1071 {
1072         const __be32 *p = *cellp;
1073
1074         *cellp = p + s;
1075         return of_read_number(p, s);
1076 }
1077
1078 /*
1079  * early_init_dt_scan_memory - Look for and parse memory nodes
1080  */
1081 int __init early_init_dt_scan_memory(void)
1082 {
1083         int node;
1084         const void *fdt = initial_boot_params;
1085
1086         fdt_for_each_subnode(node, fdt, 0) {
1087                 const char *type = of_get_flat_dt_prop(node, "device_type", NULL);
1088                 const __be32 *reg, *endp;
1089                 int l;
1090                 bool hotpluggable;
1091
1092                 /* We are scanning "memory" nodes only */
1093                 if (type == NULL || strcmp(type, "memory") != 0)
1094                         continue;
1095
1096                 reg = of_get_flat_dt_prop(node, "linux,usable-memory", &l);
1097                 if (reg == NULL)
1098                         reg = of_get_flat_dt_prop(node, "reg", &l);
1099                 if (reg == NULL)
1100                         continue;
1101
1102                 endp = reg + (l / sizeof(__be32));
1103                 hotpluggable = of_get_flat_dt_prop(node, "hotpluggable", NULL);
1104
1105                 pr_debug("memory scan node %s, reg size %d,\n",
1106                          fdt_get_name(fdt, node, NULL), l);
1107
1108                 while ((endp - reg) >= (dt_root_addr_cells + dt_root_size_cells)) {
1109                         u64 base, size;
1110
1111                         base = dt_mem_next_cell(dt_root_addr_cells, &reg);
1112                         size = dt_mem_next_cell(dt_root_size_cells, &reg);
1113
1114                         if (size == 0)
1115                                 continue;
1116                         pr_debug(" - %llx, %llx\n", base, size);
1117
1118                         early_init_dt_add_memory_arch(base, size);
1119
1120                         if (!hotpluggable)
1121                                 continue;
1122
1123                         if (memblock_mark_hotplug(base, size))
1124                                 pr_warn("failed to mark hotplug range 0x%llx - 0x%llx\n",
1125                                         base, base + size);
1126                 }
1127         }
1128         return 0;
1129 }
1130
1131 int __init early_init_dt_scan_chosen(char *cmdline)
1132 {
1133         int l, node;
1134         const char *p;
1135         const void *rng_seed;
1136         const void *fdt = initial_boot_params;
1137
1138         node = fdt_path_offset(fdt, "/chosen");
1139         if (node < 0)
1140                 node = fdt_path_offset(fdt, "/chosen@0");
1141         if (node < 0)
1142                 return -ENOENT;
1143
1144         early_init_dt_check_for_initrd(node);
1145         early_init_dt_check_for_elfcorehdr(node);
1146         early_init_dt_check_for_usable_mem_range(node);
1147
1148         /* Retrieve command line */
1149         p = of_get_flat_dt_prop(node, "bootargs", &l);
1150         if (p != NULL && l > 0)
1151                 strlcpy(cmdline, p, min(l, COMMAND_LINE_SIZE));
1152
1153         /*
1154          * CONFIG_CMDLINE is meant to be a default in case nothing else
1155          * managed to set the command line, unless CONFIG_CMDLINE_FORCE
1156          * is set in which case we override whatever was found earlier.
1157          */
1158 #ifdef CONFIG_CMDLINE
1159 #if defined(CONFIG_CMDLINE_EXTEND)
1160         strlcat(cmdline, " ", COMMAND_LINE_SIZE);
1161         strlcat(cmdline, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1162 #elif defined(CONFIG_CMDLINE_FORCE)
1163         strlcpy(cmdline, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1164 #else
1165         /* No arguments from boot loader, use kernel's  cmdl*/
1166         if (!((char *)cmdline)[0])
1167                 strlcpy(cmdline, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1168 #endif
1169 #endif /* CONFIG_CMDLINE */
1170
1171         pr_debug("Command line is: %s\n", (char *)cmdline);
1172
1173         rng_seed = of_get_flat_dt_prop(node, "rng-seed", &l);
1174         if (rng_seed && l > 0) {
1175                 add_bootloader_randomness(rng_seed, l);
1176
1177                 /* try to clear seed so it won't be found. */
1178                 fdt_nop_property(initial_boot_params, node, "rng-seed");
1179
1180                 /* update CRC check value */
1181                 of_fdt_crc32 = crc32_be(~0, initial_boot_params,
1182                                 fdt_totalsize(initial_boot_params));
1183         }
1184
1185         return 0;
1186 }
1187
1188 #ifndef MIN_MEMBLOCK_ADDR
1189 #define MIN_MEMBLOCK_ADDR       __pa(PAGE_OFFSET)
1190 #endif
1191 #ifndef MAX_MEMBLOCK_ADDR
1192 #define MAX_MEMBLOCK_ADDR       ((phys_addr_t)~0)
1193 #endif
1194
1195 void __init __weak early_init_dt_add_memory_arch(u64 base, u64 size)
1196 {
1197         const u64 phys_offset = MIN_MEMBLOCK_ADDR;
1198
1199         if (size < PAGE_SIZE - (base & ~PAGE_MASK)) {
1200                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1201                         base, base + size);
1202                 return;
1203         }
1204
1205         if (!PAGE_ALIGNED(base)) {
1206                 size -= PAGE_SIZE - (base & ~PAGE_MASK);
1207                 base = PAGE_ALIGN(base);
1208         }
1209         size &= PAGE_MASK;
1210
1211         if (base > MAX_MEMBLOCK_ADDR) {
1212                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1213                         base, base + size);
1214                 return;
1215         }
1216
1217         if (base + size - 1 > MAX_MEMBLOCK_ADDR) {
1218                 pr_warn("Ignoring memory range 0x%llx - 0x%llx\n",
1219                         ((u64)MAX_MEMBLOCK_ADDR) + 1, base + size);
1220                 size = MAX_MEMBLOCK_ADDR - base + 1;
1221         }
1222
1223         if (base + size < phys_offset) {
1224                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1225                         base, base + size);
1226                 return;
1227         }
1228         if (base < phys_offset) {
1229                 pr_warn("Ignoring memory range 0x%llx - 0x%llx\n",
1230                         base, phys_offset);
1231                 size -= phys_offset - base;
1232                 base = phys_offset;
1233         }
1234         memblock_add(base, size);
1235 }
1236
1237 static void * __init early_init_dt_alloc_memory_arch(u64 size, u64 align)
1238 {
1239         void *ptr = memblock_alloc(size, align);
1240
1241         if (!ptr)
1242                 panic("%s: Failed to allocate %llu bytes align=0x%llx\n",
1243                       __func__, size, align);
1244
1245         return ptr;
1246 }
1247
1248 bool __init early_init_dt_verify(void *params)
1249 {
1250         if (!params)
1251                 return false;
1252
1253         /* check device tree validity */
1254         if (fdt_check_header(params))
1255                 return false;
1256
1257         /* Setup flat device-tree pointer */
1258         initial_boot_params = params;
1259         of_fdt_crc32 = crc32_be(~0, initial_boot_params,
1260                                 fdt_totalsize(initial_boot_params));
1261         return true;
1262 }
1263
1264
1265 void __init early_init_dt_scan_nodes(void)
1266 {
1267         int rc;
1268
1269         /* Initialize {size,address}-cells info */
1270         early_init_dt_scan_root();
1271
1272         /* Retrieve various information from the /chosen node */
1273         rc = early_init_dt_scan_chosen(boot_command_line);
1274         if (rc)
1275                 pr_warn("No chosen node found, continuing without\n");
1276
1277         /* Setup memory, calling early_init_dt_add_memory_arch */
1278         early_init_dt_scan_memory();
1279
1280         /* Handle linux,usable-memory-range property */
1281         memblock_cap_memory_range(cap_mem_addr, cap_mem_size);
1282 }
1283
1284 bool __init early_init_dt_scan(void *params)
1285 {
1286         bool status;
1287
1288         status = early_init_dt_verify(params);
1289         if (!status)
1290                 return false;
1291
1292         early_init_dt_scan_nodes();
1293         return true;
1294 }
1295
1296 /**
1297  * unflatten_device_tree - create tree of device_nodes from flat blob
1298  *
1299  * unflattens the device-tree passed by the firmware, creating the
1300  * tree of struct device_node. It also fills the "name" and "type"
1301  * pointers of the nodes so the normal device-tree walking functions
1302  * can be used.
1303  */
1304 void __init unflatten_device_tree(void)
1305 {
1306         __unflatten_device_tree(initial_boot_params, NULL, &of_root,
1307                                 early_init_dt_alloc_memory_arch, false);
1308
1309         /* Get pointer to "/chosen" and "/aliases" nodes for use everywhere */
1310         of_alias_scan(early_init_dt_alloc_memory_arch);
1311
1312         unittest_unflatten_overlay_base();
1313 }
1314
1315 /**
1316  * unflatten_and_copy_device_tree - copy and create tree of device_nodes from flat blob
1317  *
1318  * Copies and unflattens the device-tree passed by the firmware, creating the
1319  * tree of struct device_node. It also fills the "name" and "type"
1320  * pointers of the nodes so the normal device-tree walking functions
1321  * can be used. This should only be used when the FDT memory has not been
1322  * reserved such is the case when the FDT is built-in to the kernel init
1323  * section. If the FDT memory is reserved already then unflatten_device_tree
1324  * should be used instead.
1325  */
1326 void __init unflatten_and_copy_device_tree(void)
1327 {
1328         int size;
1329         void *dt;
1330
1331         if (!initial_boot_params) {
1332                 pr_warn("No valid device tree found, continuing without\n");
1333                 return;
1334         }
1335
1336         size = fdt_totalsize(initial_boot_params);
1337         dt = early_init_dt_alloc_memory_arch(size,
1338                                              roundup_pow_of_two(FDT_V17_SIZE));
1339
1340         if (dt) {
1341                 memcpy(dt, initial_boot_params, size);
1342                 initial_boot_params = dt;
1343         }
1344         unflatten_device_tree();
1345 }
1346
1347 #ifdef CONFIG_SYSFS
1348 static ssize_t of_fdt_raw_read(struct file *filp, struct kobject *kobj,
1349                                struct bin_attribute *bin_attr,
1350                                char *buf, loff_t off, size_t count)
1351 {
1352         memcpy(buf, initial_boot_params + off, count);
1353         return count;
1354 }
1355
1356 static int __init of_fdt_raw_init(void)
1357 {
1358         static struct bin_attribute of_fdt_raw_attr =
1359                 __BIN_ATTR(fdt, S_IRUSR, of_fdt_raw_read, NULL, 0);
1360
1361         if (!initial_boot_params)
1362                 return 0;
1363
1364         if (of_fdt_crc32 != crc32_be(~0, initial_boot_params,
1365                                      fdt_totalsize(initial_boot_params))) {
1366                 pr_warn("not creating '/sys/firmware/fdt': CRC check failed\n");
1367                 return 0;
1368         }
1369         of_fdt_raw_attr.size = fdt_totalsize(initial_boot_params);
1370         return sysfs_create_bin_file(firmware_kobj, &of_fdt_raw_attr);
1371 }
1372 late_initcall(of_fdt_raw_init);
1373 #endif
1374
1375 #endif /* CONFIG_OF_EARLY_FLATTREE */