test/test-main.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Copyright 2021 Google LLC
   4  * Written by Simon Glass <sjg@chromium.org>
   5  */
   6
   7 #include <common.h>
   8 #include <console.h>
   9 #include <cyclic.h>
  10 #include <dm.h>
  11 #include <event.h>
  12 #include <of_live.h>
  13 #include <os.h>
  14 #include <dm/ofnode.h>
  15 #include <dm/root.h>
  16 #include <dm/test.h>
  17 #include <dm/uclass-internal.h>
  18 #include <test/test.h>
  19 #include <test/ut.h>
  20 #include <u-boot/crc.h>
  21
  22 DECLARE_GLOBAL_DATA_PTR;
  23
  24 /**
  25  * enum fdtchk_t - what to do with the device tree (gd->fdt_blob)
  26  *
  27  * This affects what happens with the device tree before and after a test
  28  *
  29  * @FDTCHK_NONE: Do nothing
  30  * @FDTCHK_CHECKSUM: Take a checksum of the FDT before the test runs and
  31  *      compare it afterwards to detect any changes
  32  * @FDTCHK_COPY: Make a copy of the FDT and restore it afterwards
  33  */
  34 enum fdtchk_t {
  35         FDTCHK_NONE,
  36         FDTCHK_CHECKSUM,
  37         FDTCHK_COPY,
  38 };
  39
  40 /**
  41  * fdt_action() - get the required action for the FDT
  42  *
  43  * @return the action that should be taken for this build
  44  */
  45 static enum fdtchk_t fdt_action(void)
  46 {
  47         /* Do a copy for sandbox (but only the U-Boot build, not SPL) */
  48         if (CONFIG_IS_ENABLED(SANDBOX))
  49                 return FDTCHK_COPY;
  50
  51         /* For sandbox SPL builds, do nothing */
  52         if (IS_ENABLED(CONFIG_SANDBOX))
  53                 return FDTCHK_NONE;
  54
  55         /* For all other boards, do a checksum */
  56         return FDTCHK_CHECKSUM;
  57 }
  58
  59 /* This is valid when a test is running, NULL otherwise */
  60 static struct unit_test_state *cur_test_state;
  61
  62 struct unit_test_state *test_get_state(void)
  63 {
  64         return cur_test_state;
  65 }
  66
  67 void test_set_state(struct unit_test_state *uts)
  68 {
  69         cur_test_state = uts;
  70 }
  71
  72 /**
  73  * dm_test_pre_run() - Get ready to run a driver model test
  74  *
  75  * This clears out the driver model data structures. For sandbox it resets the
  76  * state structure
  77  *
  78  * @uts: Test state
  79  */
  80 static int dm_test_pre_run(struct unit_test_state *uts)
  81 {
  82         bool of_live = uts->of_live;
  83
  84         if (of_live && (gd->flags & GD_FLG_FDT_CHANGED)) {
  85                 printf("Cannot run live tree test as device tree changed\n");
  86                 return -EFAULT;
  87         }
  88         uts->root = NULL;
  89         uts->testdev = NULL;
  90         uts->force_fail_alloc = false;
  91         uts->skip_post_probe = false;
  92         if (fdt_action() == FDTCHK_CHECKSUM)
  93                 uts->fdt_chksum = crc8(0, gd->fdt_blob,
  94                                        fdt_totalsize(gd->fdt_blob));
  95         gd->dm_root = NULL;
  96         malloc_disable_testing();
  97         if (CONFIG_IS_ENABLED(UT_DM) && !CONFIG_IS_ENABLED(OF_PLATDATA))
  98                 memset(dm_testdrv_op_count, '\0', sizeof(dm_testdrv_op_count));
  99         arch_reset_for_test();
 100
 101         /* Determine whether to make the live tree available */
 102         gd_set_of_root(of_live ? uts->of_root : NULL);
 103         oftree_reset();
 104         ut_assertok(dm_init(of_live));
 105         uts->root = dm_root();
 106
 107         return 0;
 108 }
 109
 110 static int dm_test_post_run(struct unit_test_state *uts)
 111 {
 112         int id;
 113
 114         if (gd->fdt_blob) {
 115                 switch (fdt_action()) {
 116                 case FDTCHK_COPY:
 117                         memcpy((void *)gd->fdt_blob, uts->fdt_copy, uts->fdt_size);
 118                         break;
 119                 case FDTCHK_CHECKSUM: {
 120                         uint chksum;
 121
 122                         chksum = crc8(0, gd->fdt_blob, fdt_totalsize(gd->fdt_blob));
 123                         if (chksum != uts->fdt_chksum) {
 124                                 /*
 125                                  * We cannot run any more tests that need the
 126                                  * live tree, since its strings point into the
 127                                  * flat tree, which has changed. This likely
 128                                  * means that at least some of the pointers from
 129                                  * the live tree point to different things
 130                                  */
 131                                 printf("Device tree changed: cannot run live tree tests\n");
 132                                 gd->flags |= GD_FLG_FDT_CHANGED;
 133                         }
 134                         break;
 135                 }
 136                 case FDTCHK_NONE:
 137                         break;
 138                 }
 139         }
 140
 141         /*
 142          * With of-platdata-inst the uclasses are created at build time. If we
 143          * destroy them we cannot get them back since uclass_add() is not
 144          * supported. So skip this.
 145          */
 146         if (!CONFIG_IS_ENABLED(OF_PLATDATA_INST)) {
 147                 for (id = 0; id < UCLASS_COUNT; id++) {
 148                         struct uclass *uc;
 149
 150                         /*
 151                          * If the uclass doesn't exist we don't want to create
 152                          * it. So check that here before we call
 153                          * uclass_find_device().
 154                          */
 155                         uc = uclass_find(id);
 156                         if (!uc)
 157                                 continue;
 158                         ut_assertok(uclass_destroy(uc));
 159                 }
 160         }
 161
 162         return 0;
 163 }
 164
 165 /* Ensure all the test devices are probed */
 166 static int do_autoprobe(struct unit_test_state *uts)
 167 {
 168         return uclass_probe_all(UCLASS_TEST);
 169 }
 170
 171 /*
 172  * ut_test_run_on_flattree() - Check if we should run a test with flat DT
 173  *
 174  * This skips long/slow tests where there is not much value in running a flat
 175  * DT test in addition to a live DT test.
 176  *
 177  * Return: true to run the given test on the flat device tree
 178  */
 179 static bool ut_test_run_on_flattree(struct unit_test *test)
 180 {
 181         const char *fname = strrchr(test->file, '/') + 1;
 182
 183         if (!(test->flags & UT_TESTF_DM))
 184                 return false;
 185
 186         return !strstr(fname, "video") || strstr(test->name, "video_base");
 187 }
 188
 189 /**
 190  * test_matches() - Check if a test should be run
 191  *
 192  * This checks if the a test should be run. In the normal case of running all
 193  * tests, @select_name is NULL.
 194  *
 195  * @prefix: String prefix for the tests. Any tests that have this prefix will be
 196  *      printed without the prefix, so that it is easier to see the unique part
 197  *      of the test name. If NULL, any suite name (xxx_test) is considered to be
 198  *      a prefix.
 199  * @test_name: Name of current test
 200  * @select_name: Name of test to run (or NULL for all)
 201  * Return: true to run this test, false to skip it
 202  */
 203 static bool test_matches(const char *prefix, const char *test_name,
 204                          const char *select_name)
 205 {
 206         size_t len;
 207
 208         if (!select_name)
 209                 return true;
 210
 211         /* Allow glob expansion in the test name */
 212         len = select_name[strlen(select_name) - 1] == '*' ? strlen(select_name) : 0;
 213         if (len-- == 1)
 214                 return true;
 215
 216         if (!strncmp(test_name, select_name, len))
 217                 return true;
 218
 219         if (prefix) {
 220                 /* All tests have this prefix */
 221                 if (!strncmp(test_name, prefix, strlen(prefix)))
 222                         test_name += strlen(prefix);
 223         } else {
 224                 const char *p = strstr(test_name, "_test_");
 225
 226                 /* convert xxx_test_yyy to yyy, i.e. remove the suite name */
 227                 if (p)
 228                         test_name = p + strlen("_test_");
 229         }
 230
 231         if (!strncmp(test_name, select_name, len))
 232                 return true;
 233
 234         return false;
 235 }
 236
 237 /**
 238  * ut_list_has_dm_tests() - Check if a list of tests has driver model ones
 239  *
 240  * @tests: List of tests to run
 241  * @count: Number of tests to ru
 242  * Return: true if any of the tests have the UT_TESTF_DM flag
 243  */
 244 static bool ut_list_has_dm_tests(struct unit_test *tests, int count)
 245 {
 246         struct unit_test *test;
 247
 248         for (test = tests; test < tests + count; test++) {
 249                 if (test->flags & UT_TESTF_DM)
 250                         return true;
 251         }
 252
 253         return false;
 254 }
 255
 256 /**
 257  * dm_test_restore() Put things back to normal so sandbox works as expected
 258  *
 259  * @of_root: Value to set for of_root
 260  * Return: 0 if OK, -ve on error
 261  */
 262 static int dm_test_restore(struct device_node *of_root)
 263 {
 264         int ret;
 265
 266         gd_set_of_root(of_root);
 267         gd->dm_root = NULL;
 268         ret = dm_init(CONFIG_IS_ENABLED(OF_LIVE));
 269         if (ret)
 270                 return ret;
 271         dm_scan_plat(false);
 272         if (!CONFIG_IS_ENABLED(OF_PLATDATA))
 273                 dm_scan_fdt(false);
 274
 275         return 0;
 276 }
 277
 278 /**
 279  * test_pre_run() - Handle any preparation needed to run a test
 280  *
 281  * @uts: Test state
 282  * @test: Test to prepare for
 283  * Return: 0 if OK, -EAGAIN to skip this test since some required feature is not
 284  *      available, other -ve on error (meaning that testing cannot likely
 285  *      continue)
 286  */
 287 static int test_pre_run(struct unit_test_state *uts, struct unit_test *test)
 288 {
 289         ut_assertok(event_init());
 290
 291         if (test->flags & UT_TESTF_DM)
 292                 ut_assertok(dm_test_pre_run(uts));
 293
 294         ut_set_skip_delays(uts, false);
 295
 296         uts->start = mallinfo();
 297
 298         if (test->flags & UT_TESTF_SCAN_PDATA) {
 299                 ut_assertok(dm_scan_plat(false));
 300                 ut_assertok(dm_scan_other(false));
 301         }
 302
 303         if (test->flags & UT_TESTF_PROBE_TEST)
 304                 ut_assertok(do_autoprobe(uts));
 305
 306         if (!CONFIG_IS_ENABLED(OF_PLATDATA) &&
 307             (test->flags & UT_TESTF_SCAN_FDT))
 308                 ut_assertok(dm_extended_scan(false));
 309
 310         if (IS_ENABLED(CONFIG_SANDBOX) && (test->flags & UT_TESTF_OTHER_FDT)) {
 311                 /* make sure the other FDT is available */
 312                 ut_assertok(test_load_other_fdt(uts));
 313
 314                 /*
 315                  * create a new live tree with it for every test, in case a
 316                  * test modifies the tree
 317                  */
 318                 if (of_live_active()) {
 319                         ut_assertok(unflatten_device_tree(uts->other_fdt,
 320                                                           &uts->of_other));
 321                 }
 322         }
 323
 324         if (test->flags & UT_TESTF_CONSOLE_REC) {
 325                 int ret = console_record_reset_enable();
 326
 327                 if (ret) {
 328                         printf("Skipping: Console recording disabled\n");
 329                         return -EAGAIN;
 330                 }
 331         }
 332         ut_silence_console(uts);
 333
 334         return 0;
 335 }
 336
 337 /**
 338  * test_post_run() - Handle cleaning up after a test
 339  *
 340  * @uts: Test state
 341  * @test: Test to clean up after
 342  * Return: 0 if OK, -ve on error (meaning that testing cannot likely continue)
 343  */
 344 static int test_post_run(struct unit_test_state *uts, struct unit_test *test)
 345 {
 346         ut_unsilence_console(uts);
 347         if (test->flags & UT_TESTF_DM)
 348                 ut_assertok(dm_test_post_run(uts));
 349         ut_assertok(cyclic_unregister_all());
 350         ut_assertok(event_uninit());
 351
 352         free(uts->of_other);
 353         uts->of_other = NULL;
 354
 355         return 0;
 356 }
 357
 358 /**
 359  * skip_test() - Handle skipping a test
 360  *
 361  * @uts: Test state to update
 362  * @return -EAGAIN (always)
 363  */
 364 static int skip_test(struct unit_test_state *uts)
 365 {
 366         uts->skip_count++;
 367
 368         return -EAGAIN;
 369 }
 370
 371 /**
 372  * ut_run_test() - Run a single test
 373  *
 374  * This runs the test, handling any preparation and clean-up needed. It prints
 375  * the name of each test before running it.
 376  *
 377  * @uts: Test state to update. The caller should ensure that this is zeroed for
 378  *      the first call to this function. On exit, @uts->fail_count is
 379  *      incremented by the number of failures (0, one hopes)
 380  * @test_name: Test to run
 381  * @name: Name of test, possibly skipping a prefix that should not be displayed
 382  * Return: 0 if all tests passed, -EAGAIN if the test should be skipped, -1 if
 383  *      any failed
 384  */
 385 static int ut_run_test(struct unit_test_state *uts, struct unit_test *test,
 386                        const char *test_name)
 387 {
 388         const char *fname = strrchr(test->file, '/') + 1;
 389         const char *note = "";
 390         int ret;
 391
 392         if ((test->flags & UT_TESTF_DM) && !uts->of_live)
 393                 note = " (flat tree)";
 394         printf("Test: %s: %s%s\n", test_name, fname, note);
 395
 396         /* Allow access to test state from drivers */
 397         test_set_state(uts);
 398
 399         ret = test_pre_run(uts, test);
 400         if (ret == -EAGAIN)
 401                 return skip_test(uts);
 402         if (ret)
 403                 return ret;
 404
 405         ret = test->func(uts);
 406         if (ret == -EAGAIN)
 407                 skip_test(uts);
 408
 409         ret = test_post_run(uts, test);
 410         if (ret)
 411                 return ret;
 412
 413         test_set_state( NULL);
 414
 415         return 0;
 416 }
 417
 418 /**
 419  * ut_run_test_live_flat() - Run a test with both live and flat tree
 420  *
 421  * This calls ut_run_test() with livetree enabled, which is the standard setup
 422  * for runnig tests. Then, for driver model test, it calls it again with
 423  * livetree disabled. This allows checking of flattree being used when OF_LIVE
 424  * is enabled, as is the case in U-Boot proper before relocation, as well as in
 425  * SPL.
 426  *
 427  * @uts: Test state to update. The caller should ensure that this is zeroed for
 428  *      the first call to this function. On exit, @uts->fail_count is
 429  *      incremented by the number of failures (0, one hopes)
 430  * @test: Test to run
 431  * @name: Name of test, possibly skipping a prefix that should not be displayed
 432  * Return: 0 if all tests passed, -EAGAIN if the test should be skipped, -1 if
 433  *      any failed
 434  */
 435 static int ut_run_test_live_flat(struct unit_test_state *uts,
 436                                  struct unit_test *test, const char *name)
 437 {
 438         int runs;
 439
 440         if ((test->flags & UT_TESTF_OTHER_FDT) && !IS_ENABLED(CONFIG_SANDBOX))
 441                 return skip_test(uts);
 442
 443         /* Run with the live tree if possible */
 444         runs = 0;
 445         if (CONFIG_IS_ENABLED(OF_LIVE)) {
 446                 if (!(test->flags & UT_TESTF_FLAT_TREE)) {
 447                         uts->of_live = true;
 448                         ut_assertok(ut_run_test(uts, test, test->name));
 449                         runs++;
 450                 }
 451         }
 452
 453         /*
 454          * Run with the flat tree if:
 455          * - it is not marked for live tree only
 456          * - it doesn't require the 'other' FDT when OFNODE_MULTI_TREE_MAX is
 457          *   not enabled (since flat tree can only support a single FDT in that
 458          *   case
 459          * - we couldn't run it with live tree,
 460          * - it is a core test (dm tests except video)
 461          * - the FDT is still valid and has not been updated by an earlier test
 462          *   (for sandbox we handle this by copying the tree, but not for other
 463          *    boards)
 464          */
 465         if (!(test->flags & UT_TESTF_LIVE_TREE) &&
 466             (CONFIG_IS_ENABLED(OFNODE_MULTI_TREE) ||
 467              !(test->flags & UT_TESTF_OTHER_FDT)) &&
 468             (!runs || ut_test_run_on_flattree(test)) &&
 469             !(gd->flags & GD_FLG_FDT_CHANGED)) {
 470                 uts->of_live = false;
 471                 ut_assertok(ut_run_test(uts, test, test->name));
 472                 runs++;
 473         }
 474
 475         return 0;
 476 }
 477
 478 /**
 479  * ut_run_tests() - Run a set of tests
 480  *
 481  * This runs the tests, handling any preparation and clean-up needed. It prints
 482  * the name of each test before running it.
 483  *
 484  * @uts: Test state to update. The caller should ensure that this is zeroed for
 485  *      the first call to this function. On exit, @uts->fail_count is
 486  *      incremented by the number of failures (0, one hopes)
 487  * @prefix: String prefix for the tests. Any tests that have this prefix will be
 488  *      printed without the prefix, so that it is easier to see the unique part
 489  *      of the test name. If NULL, no prefix processing is done
 490  * @tests: List of tests to run
 491  * @count: Number of tests to run
 492  * @select_name: Name of a single test to run (from the list provided). If NULL
 493  *      then all tests are run
 494  * Return: 0 if all tests passed, -ENOENT if test @select_name was not found,
 495  *      -EBADF if any failed
 496  */
 497 static int ut_run_tests(struct unit_test_state *uts, const char *prefix,
 498                         struct unit_test *tests, int count,
 499                         const char *select_name)
 500 {
 501         struct unit_test *test;
 502         int found = 0;
 503
 504         for (test = tests; test < tests + count; test++) {
 505                 const char *test_name = test->name;
 506                 int ret, i, old_fail_count;
 507
 508                 if (!test_matches(prefix, test_name, select_name))
 509                         continue;
 510
 511                 if (test->flags & UT_TESTF_MANUAL) {
 512                         int len;
 513
 514                         /*
 515                          * manual tests must have a name ending "_norun" as this
 516                          * is how pytest knows to skip them. See
 517                          * generate_ut_subtest() for this check.
 518                          */
 519                         len = strlen(test_name);
 520                         if (len < 6 || strcmp(test_name + len - 6, "_norun")) {
 521                                 printf("Test %s is manual so must have a name ending in _norun\n",
 522                                        test_name);
 523                                 uts->fail_count++;
 524                                 return -EBADF;
 525                         }
 526                         if (!uts->force_run) {
 527                                 if (select_name) {
 528                                         printf("Test %s skipped as it is manual (use -f to run it)\n",
 529                                                test_name);
 530                                 }
 531                                 continue;
 532                         }
 533                 }
 534                 old_fail_count = uts->fail_count;
 535                 for (i = 0; i < uts->runs_per_test; i++)
 536                         ret = ut_run_test_live_flat(uts, test, select_name);
 537                 if (uts->fail_count != old_fail_count) {
 538                         printf("Test %s failed %d times\n", select_name,
 539                                uts->fail_count - old_fail_count);
 540                 }
 541                 found++;
 542                 if (ret == -EAGAIN)
 543                         continue;
 544                 if (ret)
 545                         return ret;
 546         }
 547         if (select_name && !found)
 548                 return -ENOENT;
 549
 550         return uts->fail_count ? -EBADF : 0;
 551 }
 552
 553 int ut_run_list(const char *category, const char *prefix,
 554                 struct unit_test *tests, int count, const char *select_name,
 555                 int runs_per_test, bool force_run)
 556 {
 557         struct unit_test_state uts = { .fail_count = 0 };
 558         bool has_dm_tests = false;
 559         int ret;
 560
 561         if (!CONFIG_IS_ENABLED(OF_PLATDATA) &&
 562             ut_list_has_dm_tests(tests, count)) {
 563                 has_dm_tests = true;
 564                 /*
 565                  * If we have no device tree, or it only has a root node, then
 566                  * these * tests clearly aren't going to work...
 567                  */
 568                 if (!gd->fdt_blob || fdt_next_node(gd->fdt_blob, 0, NULL) < 0) {
 569                         puts("Please run with test device tree:\n"
 570                              "    ./u-boot -d arch/sandbox/dts/test.dtb\n");
 571                         return CMD_RET_FAILURE;
 572                 }
 573         }
 574
 575         if (!select_name)
 576                 printf("Running %d %s tests\n", count, category);
 577
 578         uts.of_root = gd_of_root();
 579         uts.runs_per_test = runs_per_test;
 580         if (fdt_action() == FDTCHK_COPY && gd->fdt_blob) {
 581                 uts.fdt_size = fdt_totalsize(gd->fdt_blob);
 582                 uts.fdt_copy = os_malloc(uts.fdt_size);
 583                 if (!uts.fdt_copy) {
 584                         printf("Out of memory for device tree copy\n");
 585                         return -ENOMEM;
 586                 }
 587                 memcpy(uts.fdt_copy, gd->fdt_blob, uts.fdt_size);
 588         }
 589         uts.force_run = force_run;
 590         ret = ut_run_tests(&uts, prefix, tests, count, select_name);
 591
 592         /* Best efforts only...ignore errors */
 593         if (has_dm_tests)
 594                 dm_test_restore(uts.of_root);
 595         if (IS_ENABLED(CONFIG_SANDBOX)) {
 596                 os_free(uts.fdt_copy);
 597                 os_free(uts.other_fdt);
 598         }
 599
 600         if (uts.skip_count)
 601                 printf("Skipped: %d, ", uts.skip_count);
 602         if (ret == -ENOENT)
 603                 printf("Test '%s' not found\n", select_name);
 604         else
 605                 printf("Failures: %d\n", uts.fail_count);
 606
 607         /* Best efforts only...ignore errors */
 608         if (has_dm_tests)
 609                 dm_test_restore(uts.of_root);
 610
 611         return ret;
 612 }