tools/patman/test_util.py

   1 # SPDX-License-Identifier: GPL-2.0+
   2 #
   3 # Copyright (c) 2016 Google, Inc
   4 #
   5
   6 from contextlib import contextmanager
   7 import glob
   8 import os
   9 import sys
  10
  11 import command
  12
  13 try:
  14   from StringIO import StringIO
  15 except ImportError:
  16   from io import StringIO
  17
  18
  19 def RunTestCoverage(prog, filter_fname, exclude_list, build_dir, required=None):
  20     """Run tests and check that we get 100% coverage
  21
  22     Args:
  23         prog: Program to run (with be passed a '-t' argument to run tests
  24         filter_fname: Normally all *.py files in the program's directory will
  25             be included. If this is not None, then it is used to filter the
  26             list so that only filenames that don't contain filter_fname are
  27             included.
  28         exclude_list: List of file patterns to exclude from the coverage
  29             calculation
  30         build_dir: Build directory, used to locate libfdt.py
  31         required: List of modules which must be in the coverage report
  32
  33     Raises:
  34         ValueError if the code coverage is not 100%
  35     """
  36     # This uses the build output from sandbox_spl to get _libfdt.so
  37     path = os.path.dirname(prog)
  38     if filter_fname:
  39         glob_list = glob.glob(os.path.join(path, '*.py'))
  40         glob_list = [fname for fname in glob_list if filter_fname in fname]
  41     else:
  42         glob_list = []
  43     glob_list += exclude_list
  44     glob_list += ['*libfdt.py', '*site-packages*']
  45     cmd = ('PYTHONPATH=$PYTHONPATH:%s/sandbox_spl/tools python-coverage run '
  46            '--omit "%s" %s -t' % (build_dir, ','.join(glob_list), prog))
  47     os.system(cmd)
  48     stdout = command.Output('python-coverage', 'report')
  49     lines = stdout.splitlines()
  50     if required:
  51         # Convert '/path/to/name.py' just the module name 'name'
  52         test_set = set([os.path.splitext(os.path.basename(line.split()[0]))[0]
  53                         for line in lines if '/etype/' in line])
  54         missing_list = required
  55         missing_list.difference_update(test_set)
  56         if missing_list:
  57             print 'Missing tests for %s' % (', '.join(missing_list))
  58             print stdout
  59             ok = False
  60
  61     coverage = lines[-1].split(' ')[-1]
  62     ok = True
  63     print coverage
  64     if coverage != '100%':
  65         print stdout
  66         print ("Type 'python-coverage html' to get a report in "
  67                'htmlcov/index.html')
  68         print 'Coverage error: %s, but should be 100%%' % coverage
  69         ok = False
  70     if not ok:
  71         raise ValueError('Test coverage failure')
  72
  73
  74 # Use this to suppress stdout/stderr output:
  75 # with capture_sys_output() as (stdout, stderr)
  76 #   ...do something...
  77 @contextmanager
  78 def capture_sys_output():
  79     capture_out, capture_err = StringIO(), StringIO()
  80     old_out, old_err = sys.stdout, sys.stderr
  81     try:
  82         sys.stdout, sys.stderr = capture_out, capture_err
  83         yield capture_out, capture_err
  84     finally:
  85         sys.stdout, sys.stderr = old_out, old_err