src/chrome/test/functional/media/README

   1 HTML5 Media Performance/Functional Test
   2 =======================================
   3
   4 Description
   5 -----------
   6 This directory contains suites for HTML5 media performance/functional tests.
   7
   8 media_test_runner.py is the main module and it executes a media test
   9 class (a subclass of MediaTastBase class) with different configuration
  10 (parameters) which are passed in the form of environment variables
  11 (e.g., the number of runs). The location of the subclass is passed as
  12 one of the arguments.
  13
  14 An example invocation is
  15   python media_test_runner.py -p ./media_perf.py
  16
  17 In this example, media_perf.py will be invoked using the default set
  18 of parameters.  If the test class is not specified in the argument,
  19 whole AVPERF suite is executed, which is defined in
  20 src/chrome/test/functional/PYAUTO_TESTS.
  21
  22 To Run Tests
  23 ------------
  24 0) Build pyauto (http://www.chromium.org/developers/testing/pyauto)
  25
  26 1) Add the following in the .gclient and execute "gclient sync". This step is
  27 necessary to pull the test video/audio from deps.
  28
  29 "custom_deps" : {
  30   "src/chrome/test/data/media/avperf":
  31     "http://src.chromium.org/svn/trunk/deps/avperf",
  32 },
  33
  34 2) Execute "python media_test_runner.py" from "src/chrome/test/functional"
  35 directory. Available options can be obtained by "media_test_runner.py -h"
  36
  37 3) The results are reported to the standard output. An example output is
  38
  39 RESULT time: t= [0.01182, 0.00995, 2.02328, 2.02021] sec
  40 RESULT procutil: p= [14.10000, 15.20000, 9.10000, 9.00000] percent
  41 RESULT procuser: l= [0.54000, 0.88000, 0.74000, 1.08000] load
  42 RESULT procsystem: l= [0.06000, 0.11000, 0.09000, 0.13000] load
  43 RESULT memoryrss: m= [34.74637, 35.27885, 34.46374, 35.60243] MB
  44 RESULT memoryvms: m= [1001.08288, 1001.34502, 1001.08288, 1001.34502] MB
  45 RESULT memoryutil: p= [0.87187, 0.88523, 0.86478, 0.89335] percent
  46
  47 This data is read by the perfbot and used for displaying perf graphs and
  48 regression monitoring. The perfbot link is
  49 http://build.chromium.org/p/chromium.perf_av/console.