test/test-main.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Copyright 2021 Google LLC
   4  * Written by Simon Glass <sjg@chromium.org>
   5  */
   6
   7 #include <common.h>
   8 #include <blk.h>
   9 #include <console.h>
  10 #include <cyclic.h>
  11 #include <dm.h>
  12 #include <event.h>
  13 #include <net.h>
  14 #include <of_live.h>
  15 #include <os.h>
  16 #include <dm/ofnode.h>
  17 #include <dm/root.h>
  18 #include <dm/test.h>
  19 #include <dm/uclass-internal.h>
  20 #include <test/test.h>
  21 #include <test/ut.h>
  22 #include <u-boot/crc.h>
  23
  24 DECLARE_GLOBAL_DATA_PTR;
  25
  26 /**
  27  * enum fdtchk_t - what to do with the device tree (gd->fdt_blob)
  28  *
  29  * This affects what happens with the device tree before and after a test
  30  *
  31  * @FDTCHK_NONE: Do nothing
  32  * @FDTCHK_CHECKSUM: Take a checksum of the FDT before the test runs and
  33  *      compare it afterwards to detect any changes
  34  * @FDTCHK_COPY: Make a copy of the FDT and restore it afterwards
  35  */
  36 enum fdtchk_t {
  37         FDTCHK_NONE,
  38         FDTCHK_CHECKSUM,
  39         FDTCHK_COPY,
  40 };
  41
  42 /**
  43  * fdt_action() - get the required action for the FDT
  44  *
  45  * @return the action that should be taken for this build
  46  */
  47 static enum fdtchk_t fdt_action(void)
  48 {
  49         /* For sandbox SPL builds, do nothing */
  50         if (IS_ENABLED(CONFIG_SANDBOX) && IS_ENABLED(CONFIG_SPL_BUILD))
  51                 return FDTCHK_NONE;
  52
  53         /* Do a copy for sandbox (but only the U-Boot build, not SPL) */
  54         if (IS_ENABLED(CONFIG_SANDBOX))
  55                 return FDTCHK_COPY;
  56
  57         /* For all other boards, do a checksum */
  58         return FDTCHK_CHECKSUM;
  59 }
  60
  61 /* This is valid when a test is running, NULL otherwise */
  62 static struct unit_test_state *cur_test_state;
  63
  64 struct unit_test_state *test_get_state(void)
  65 {
  66         return cur_test_state;
  67 }
  68
  69 void test_set_state(struct unit_test_state *uts)
  70 {
  71         cur_test_state = uts;
  72 }
  73
  74 /**
  75  * dm_test_pre_run() - Get ready to run a driver model test
  76  *
  77  * This clears out the driver model data structures. For sandbox it resets the
  78  * state structure
  79  *
  80  * @uts: Test state
  81  */
  82 static int dm_test_pre_run(struct unit_test_state *uts)
  83 {
  84         bool of_live = uts->of_live;
  85
  86         if (of_live && (gd->flags & GD_FLG_FDT_CHANGED)) {
  87                 printf("Cannot run live tree test as device tree changed\n");
  88                 return -EFAULT;
  89         }
  90         uts->root = NULL;
  91         uts->testdev = NULL;
  92         uts->force_fail_alloc = false;
  93         uts->skip_post_probe = false;
  94         if (fdt_action() == FDTCHK_CHECKSUM)
  95                 uts->fdt_chksum = crc8(0, gd->fdt_blob,
  96                                        fdt_totalsize(gd->fdt_blob));
  97         gd->dm_root = NULL;
  98         malloc_disable_testing();
  99         if (CONFIG_IS_ENABLED(UT_DM) && !CONFIG_IS_ENABLED(OF_PLATDATA))
 100                 memset(dm_testdrv_op_count, '\0', sizeof(dm_testdrv_op_count));
 101         arch_reset_for_test();
 102
 103         /* Determine whether to make the live tree available */
 104         gd_set_of_root(of_live ? uts->of_root : NULL);
 105         oftree_reset();
 106         ut_assertok(dm_init(of_live));
 107         uts->root = dm_root();
 108
 109         return 0;
 110 }
 111
 112 static int dm_test_post_run(struct unit_test_state *uts)
 113 {
 114         int id;
 115
 116         if (gd->fdt_blob) {
 117                 switch (fdt_action()) {
 118                 case FDTCHK_COPY:
 119                         memcpy((void *)gd->fdt_blob, uts->fdt_copy, uts->fdt_size);
 120                         break;
 121                 case FDTCHK_CHECKSUM: {
 122                         uint chksum;
 123
 124                         chksum = crc8(0, gd->fdt_blob, fdt_totalsize(gd->fdt_blob));
 125                         if (chksum != uts->fdt_chksum) {
 126                                 /*
 127                                  * We cannot run any more tests that need the
 128                                  * live tree, since its strings point into the
 129                                  * flat tree, which has changed. This likely
 130                                  * means that at least some of the pointers from
 131                                  * the live tree point to different things
 132                                  */
 133                                 printf("Device tree changed: cannot run live tree tests\n");
 134                                 gd->flags |= GD_FLG_FDT_CHANGED;
 135                         }
 136                         break;
 137                 }
 138                 case FDTCHK_NONE:
 139                         break;
 140                 }
 141         }
 142
 143         /*
 144          * With of-platdata-inst the uclasses are created at build time. If we
 145          * destroy them we cannot get them back since uclass_add() is not
 146          * supported. So skip this.
 147          */
 148         if (!CONFIG_IS_ENABLED(OF_PLATDATA_INST)) {
 149                 for (id = 0; id < UCLASS_COUNT; id++) {
 150                         struct uclass *uc;
 151
 152                         /*
 153                          * If the uclass doesn't exist we don't want to create
 154                          * it. So check that here before we call
 155                          * uclass_find_device().
 156                          */
 157                         uc = uclass_find(id);
 158                         if (!uc)
 159                                 continue;
 160                         ut_assertok(uclass_destroy(uc));
 161                 }
 162         }
 163
 164         return 0;
 165 }
 166
 167 /* Ensure all the test devices are probed */
 168 static int do_autoprobe(struct unit_test_state *uts)
 169 {
 170         return uclass_probe_all(UCLASS_TEST);
 171 }
 172
 173 /*
 174  * ut_test_run_on_flattree() - Check if we should run a test with flat DT
 175  *
 176  * This skips long/slow tests where there is not much value in running a flat
 177  * DT test in addition to a live DT test.
 178  *
 179  * Return: true to run the given test on the flat device tree
 180  */
 181 static bool ut_test_run_on_flattree(struct unit_test *test)
 182 {
 183         const char *fname = strrchr(test->file, '/') + 1;
 184
 185         if (!(test->flags & UT_TESTF_DM))
 186                 return false;
 187
 188         return !strstr(fname, "video") || strstr(test->name, "video_base");
 189 }
 190
 191 /**
 192  * test_matches() - Check if a test should be run
 193  *
 194  * This checks if the a test should be run. In the normal case of running all
 195  * tests, @select_name is NULL.
 196  *
 197  * @prefix: String prefix for the tests. Any tests that have this prefix will be
 198  *      printed without the prefix, so that it is easier to see the unique part
 199  *      of the test name. If NULL, any suite name (xxx_test) is considered to be
 200  *      a prefix.
 201  * @test_name: Name of current test
 202  * @select_name: Name of test to run (or NULL for all)
 203  * Return: true to run this test, false to skip it
 204  */
 205 static bool test_matches(const char *prefix, const char *test_name,
 206                          const char *select_name)
 207 {
 208         size_t len;
 209
 210         if (!select_name)
 211                 return true;
 212
 213         /* Allow glob expansion in the test name */
 214         len = select_name[strlen(select_name) - 1] == '*' ? strlen(select_name) : 0;
 215         if (len-- == 1)
 216                 return true;
 217
 218         if (!strncmp(test_name, select_name, len))
 219                 return true;
 220
 221         if (prefix) {
 222                 /* All tests have this prefix */
 223                 if (!strncmp(test_name, prefix, strlen(prefix)))
 224                         test_name += strlen(prefix);
 225         } else {
 226                 const char *p = strstr(test_name, "_test_");
 227
 228                 /* convert xxx_test_yyy to yyy, i.e. remove the suite name */
 229                 if (p)
 230                         test_name = p + strlen("_test_");
 231         }
 232
 233         if (!strncmp(test_name, select_name, len))
 234                 return true;
 235
 236         return false;
 237 }
 238
 239 /**
 240  * ut_list_has_dm_tests() - Check if a list of tests has driver model ones
 241  *
 242  * @tests: List of tests to run
 243  * @count: Number of tests to ru
 244  * Return: true if any of the tests have the UT_TESTF_DM flag
 245  */
 246 static bool ut_list_has_dm_tests(struct unit_test *tests, int count)
 247 {
 248         struct unit_test *test;
 249
 250         for (test = tests; test < tests + count; test++) {
 251                 if (test->flags & UT_TESTF_DM)
 252                         return true;
 253         }
 254
 255         return false;
 256 }
 257
 258 /**
 259  * dm_test_restore() Put things back to normal so sandbox works as expected
 260  *
 261  * @of_root: Value to set for of_root
 262  * Return: 0 if OK, -ve on error
 263  */
 264 static int dm_test_restore(struct device_node *of_root)
 265 {
 266         int ret;
 267
 268         gd_set_of_root(of_root);
 269         gd->dm_root = NULL;
 270         ret = dm_init(CONFIG_IS_ENABLED(OF_LIVE));
 271         if (ret)
 272                 return ret;
 273         dm_scan_plat(false);
 274         if (!CONFIG_IS_ENABLED(OF_PLATDATA))
 275                 dm_extended_scan(false);
 276
 277         return 0;
 278 }
 279
 280 /**
 281  * test_pre_run() - Handle any preparation needed to run a test
 282  *
 283  * @uts: Test state
 284  * @test: Test to prepare for
 285  * Return: 0 if OK, -EAGAIN to skip this test since some required feature is not
 286  *      available, other -ve on error (meaning that testing cannot likely
 287  *      continue)
 288  */
 289 static int test_pre_run(struct unit_test_state *uts, struct unit_test *test)
 290 {
 291         ut_assertok(event_init());
 292
 293         if (test->flags & UT_TESTF_DM)
 294                 ut_assertok(dm_test_pre_run(uts));
 295
 296         ut_set_skip_delays(uts, false);
 297
 298         uts->start = mallinfo();
 299
 300         if (test->flags & UT_TESTF_SCAN_PDATA)
 301                 ut_assertok(dm_scan_plat(false));
 302
 303         if (test->flags & UT_TESTF_PROBE_TEST)
 304                 ut_assertok(do_autoprobe(uts));
 305
 306         if (!CONFIG_IS_ENABLED(OF_PLATDATA) &&
 307             (test->flags & UT_TESTF_SCAN_FDT)) {
 308                 /*
 309                  * only set this if we know the ethernet uclass will be created
 310                  */
 311                 eth_set_enable_bootdevs(test->flags & UT_TESTF_ETH_BOOTDEV);
 312                 test_sf_set_enable_bootdevs(test->flags & UT_TESTF_SF_BOOTDEV);
 313                 ut_assertok(dm_extended_scan(false));
 314         }
 315
 316         /*
 317          * Do this after FDT scan since dm_scan_other() in bootstd-uclass.c
 318          * checks for the existence of bootstd
 319          */
 320         if (test->flags & UT_TESTF_SCAN_PDATA)
 321                 ut_assertok(dm_scan_other(false));
 322
 323         if (IS_ENABLED(CONFIG_SANDBOX) && (test->flags & UT_TESTF_OTHER_FDT)) {
 324                 /* make sure the other FDT is available */
 325                 ut_assertok(test_load_other_fdt(uts));
 326
 327                 /*
 328                  * create a new live tree with it for every test, in case a
 329                  * test modifies the tree
 330                  */
 331                 if (of_live_active()) {
 332                         ut_assertok(unflatten_device_tree(uts->other_fdt,
 333                                                           &uts->of_other));
 334                 }
 335         }
 336
 337         if (test->flags & UT_TESTF_CONSOLE_REC) {
 338                 int ret = console_record_reset_enable();
 339
 340                 if (ret) {
 341                         printf("Skipping: Console recording disabled\n");
 342                         return -EAGAIN;
 343                 }
 344         }
 345         ut_silence_console(uts);
 346
 347         return 0;
 348 }
 349
 350 /**
 351  * test_post_run() - Handle cleaning up after a test
 352  *
 353  * @uts: Test state
 354  * @test: Test to clean up after
 355  * Return: 0 if OK, -ve on error (meaning that testing cannot likely continue)
 356  */
 357 static int test_post_run(struct unit_test_state *uts, struct unit_test *test)
 358 {
 359         ut_unsilence_console(uts);
 360         if (test->flags & UT_TESTF_DM)
 361                 ut_assertok(dm_test_post_run(uts));
 362         ut_assertok(cyclic_unregister_all());
 363         ut_assertok(event_uninit());
 364
 365         free(uts->of_other);
 366         uts->of_other = NULL;
 367
 368         blkcache_free();
 369
 370         return 0;
 371 }
 372
 373 /**
 374  * skip_test() - Handle skipping a test
 375  *
 376  * @uts: Test state to update
 377  * @return -EAGAIN (always)
 378  */
 379 static int skip_test(struct unit_test_state *uts)
 380 {
 381         uts->skip_count++;
 382
 383         return -EAGAIN;
 384 }
 385
 386 /**
 387  * ut_run_test() - Run a single test
 388  *
 389  * This runs the test, handling any preparation and clean-up needed. It prints
 390  * the name of each test before running it.
 391  *
 392  * @uts: Test state to update. The caller should ensure that this is zeroed for
 393  *      the first call to this function. On exit, @uts->fail_count is
 394  *      incremented by the number of failures (0, one hopes)
 395  * @test_name: Test to run
 396  * @name: Name of test, possibly skipping a prefix that should not be displayed
 397  * Return: 0 if all tests passed, -EAGAIN if the test should be skipped, -1 if
 398  *      any failed
 399  */
 400 static int ut_run_test(struct unit_test_state *uts, struct unit_test *test,
 401                        const char *test_name)
 402 {
 403         const char *fname = strrchr(test->file, '/') + 1;
 404         const char *note = "";
 405         int ret;
 406
 407         if ((test->flags & UT_TESTF_DM) && !uts->of_live)
 408                 note = " (flat tree)";
 409         printf("Test: %s: %s%s\n", test_name, fname, note);
 410
 411         /* Allow access to test state from drivers */
 412         test_set_state(uts);
 413
 414         ret = test_pre_run(uts, test);
 415         if (ret == -EAGAIN)
 416                 return skip_test(uts);
 417         if (ret)
 418                 return ret;
 419
 420         ret = test->func(uts);
 421         if (ret == -EAGAIN)
 422                 skip_test(uts);
 423
 424         ret = test_post_run(uts, test);
 425         if (ret)
 426                 return ret;
 427
 428         test_set_state( NULL);
 429
 430         return 0;
 431 }
 432
 433 /**
 434  * ut_run_test_live_flat() - Run a test with both live and flat tree
 435  *
 436  * This calls ut_run_test() with livetree enabled, which is the standard setup
 437  * for runnig tests. Then, for driver model test, it calls it again with
 438  * livetree disabled. This allows checking of flattree being used when OF_LIVE
 439  * is enabled, as is the case in U-Boot proper before relocation, as well as in
 440  * SPL.
 441  *
 442  * @uts: Test state to update. The caller should ensure that this is zeroed for
 443  *      the first call to this function. On exit, @uts->fail_count is
 444  *      incremented by the number of failures (0, one hopes)
 445  * @test: Test to run
 446  * Return: 0 if all tests passed, -EAGAIN if the test should be skipped, -1 if
 447  *      any failed
 448  */
 449 static int ut_run_test_live_flat(struct unit_test_state *uts,
 450                                  struct unit_test *test)
 451 {
 452         int runs;
 453
 454         if ((test->flags & UT_TESTF_OTHER_FDT) && !IS_ENABLED(CONFIG_SANDBOX))
 455                 return skip_test(uts);
 456
 457         /* Run with the live tree if possible */
 458         runs = 0;
 459         if (CONFIG_IS_ENABLED(OF_LIVE)) {
 460                 if (!(test->flags & UT_TESTF_FLAT_TREE)) {
 461                         uts->of_live = true;
 462                         ut_assertok(ut_run_test(uts, test, test->name));
 463                         runs++;
 464                 }
 465         }
 466
 467         /*
 468          * Run with the flat tree if:
 469          * - it is not marked for live tree only
 470          * - it doesn't require the 'other' FDT when OFNODE_MULTI_TREE_MAX is
 471          *   not enabled (since flat tree can only support a single FDT in that
 472          *   case
 473          * - we couldn't run it with live tree,
 474          * - it is a core test (dm tests except video)
 475          * - the FDT is still valid and has not been updated by an earlier test
 476          *   (for sandbox we handle this by copying the tree, but not for other
 477          *    boards)
 478          */
 479         if ((test->flags & UT_TESTF_SCAN_FDT) &&
 480             !(test->flags & UT_TESTF_LIVE_TREE) &&
 481             (CONFIG_IS_ENABLED(OFNODE_MULTI_TREE) ||
 482              !(test->flags & UT_TESTF_OTHER_FDT)) &&
 483             (!runs || ut_test_run_on_flattree(test)) &&
 484             !(gd->flags & GD_FLG_FDT_CHANGED)) {
 485                 uts->of_live = false;
 486                 ut_assertok(ut_run_test(uts, test, test->name));
 487                 runs++;
 488         }
 489
 490         return 0;
 491 }
 492
 493 /**
 494  * ut_run_tests() - Run a set of tests
 495  *
 496  * This runs the tests, handling any preparation and clean-up needed. It prints
 497  * the name of each test before running it.
 498  *
 499  * @uts: Test state to update. The caller should ensure that this is zeroed for
 500  *      the first call to this function. On exit, @uts->fail_count is
 501  *      incremented by the number of failures (0, one hopes)
 502  * @prefix: String prefix for the tests. Any tests that have this prefix will be
 503  *      printed without the prefix, so that it is easier to see the unique part
 504  *      of the test name. If NULL, no prefix processing is done
 505  * @tests: List of tests to run
 506  * @count: Number of tests to run
 507  * @select_name: Name of a single test to run (from the list provided). If NULL
 508  *      then all tests are run
 509  * Return: 0 if all tests passed, -ENOENT if test @select_name was not found,
 510  *      -EBADF if any failed
 511  */
 512 static int ut_run_tests(struct unit_test_state *uts, const char *prefix,
 513                         struct unit_test *tests, int count,
 514                         const char *select_name, const char *test_insert)
 515 {
 516         struct unit_test *test, *one;
 517         int found = 0;
 518         int pos = 0;
 519         int upto;
 520
 521         one = NULL;
 522         if (test_insert) {
 523                 char *p;
 524
 525                 pos = dectoul(test_insert, NULL);
 526                 p = strchr(test_insert, ':');
 527                 if (p)
 528                         p++;
 529
 530                 for (test = tests; test < tests + count; test++) {
 531                         if (!strcmp(p, test->name))
 532                                 one = test;
 533                 }
 534         }
 535
 536         for (upto = 0, test = tests; test < tests + count; test++, upto++) {
 537                 const char *test_name = test->name;
 538                 int ret, i, old_fail_count;
 539
 540                 if (!test_matches(prefix, test_name, select_name))
 541                         continue;
 542
 543                 if (test->flags & UT_TESTF_MANUAL) {
 544                         int len;
 545
 546                         /*
 547                          * manual tests must have a name ending "_norun" as this
 548                          * is how pytest knows to skip them. See
 549                          * generate_ut_subtest() for this check.
 550                          */
 551                         len = strlen(test_name);
 552                         if (len < 6 || strcmp(test_name + len - 6, "_norun")) {
 553                                 printf("Test %s is manual so must have a name ending in _norun\n",
 554                                        test_name);
 555                                 uts->fail_count++;
 556                                 return -EBADF;
 557                         }
 558                         if (!uts->force_run) {
 559                                 if (select_name) {
 560                                         printf("Test %s skipped as it is manual (use -f to run it)\n",
 561                                                test_name);
 562                                 }
 563                                 continue;
 564                         }
 565                 }
 566                 old_fail_count = uts->fail_count;
 567
 568                 if (one && upto == pos) {
 569                         ret = ut_run_test_live_flat(uts, one);
 570                         if (uts->fail_count != old_fail_count) {
 571                                 printf("Test %s failed %d times (position %d)\n",
 572                                        one->name,
 573                                        uts->fail_count - old_fail_count, pos);
 574                         }
 575                         return -EBADF;
 576                 }
 577
 578                 for (i = 0; i < uts->runs_per_test; i++)
 579                         ret = ut_run_test_live_flat(uts, test);
 580                 if (uts->fail_count != old_fail_count) {
 581                         printf("Test %s failed %d times\n", select_name,
 582                                uts->fail_count - old_fail_count);
 583                 }
 584                 found++;
 585                 if (ret == -EAGAIN)
 586                         continue;
 587                 if (ret)
 588                         return ret;
 589         }
 590         if (select_name && !found)
 591                 return -ENOENT;
 592
 593         return uts->fail_count ? -EBADF : 0;
 594 }
 595
 596 int ut_run_list(const char *category, const char *prefix,
 597                 struct unit_test *tests, int count, const char *select_name,
 598                 int runs_per_test, bool force_run, const char *test_insert)
 599 {
 600         struct unit_test_state uts = { .fail_count = 0 };
 601         bool has_dm_tests = false;
 602         int ret;
 603
 604         if (!CONFIG_IS_ENABLED(OF_PLATDATA) &&
 605             ut_list_has_dm_tests(tests, count)) {
 606                 has_dm_tests = true;
 607                 /*
 608                  * If we have no device tree, or it only has a root node, then
 609                  * these * tests clearly aren't going to work...
 610                  */
 611                 if (!gd->fdt_blob || fdt_next_node(gd->fdt_blob, 0, NULL) < 0) {
 612                         puts("Please run with test device tree:\n"
 613                              "    ./u-boot -d arch/sandbox/dts/test.dtb\n");
 614                         return CMD_RET_FAILURE;
 615                 }
 616         }
 617
 618         if (!select_name)
 619                 printf("Running %d %s tests\n", count, category);
 620
 621         uts.of_root = gd_of_root();
 622         uts.runs_per_test = runs_per_test;
 623         if (fdt_action() == FDTCHK_COPY && gd->fdt_blob) {
 624                 uts.fdt_size = fdt_totalsize(gd->fdt_blob);
 625                 uts.fdt_copy = os_malloc(uts.fdt_size);
 626                 if (!uts.fdt_copy) {
 627                         printf("Out of memory for device tree copy\n");
 628                         return -ENOMEM;
 629                 }
 630                 memcpy(uts.fdt_copy, gd->fdt_blob, uts.fdt_size);
 631         }
 632         uts.force_run = force_run;
 633         ret = ut_run_tests(&uts, prefix, tests, count, select_name,
 634                            test_insert);
 635
 636         /* Best efforts only...ignore errors */
 637         if (has_dm_tests)
 638                 dm_test_restore(uts.of_root);
 639         if (IS_ENABLED(CONFIG_SANDBOX)) {
 640                 os_free(uts.fdt_copy);
 641                 os_free(uts.other_fdt);
 642         }
 643
 644         if (uts.skip_count)
 645                 printf("Skipped: %d, ", uts.skip_count);
 646         if (ret == -ENOENT)
 647                 printf("Test '%s' not found\n", select_name);
 648         else
 649                 printf("Failures: %d\n", uts.fail_count);
 650
 651         return ret;
 652 }