src/tools/checklicenses/checklicenses.py

   1 #!/usr/bin/env python
   2 # Copyright (c) 2012 The Chromium Authors. All rights reserved.
   3 # Use of this source code is governed by a BSD-style license that can be
   4 # found in the LICENSE file.
   5
   6 """Makes sure that all files contain proper licensing information."""
   7
   8
   9 import json
  10 import optparse
  11 import os.path
  12 import subprocess
  13 import sys
  14
  15
  16 def PrintUsage():
  17   print """Usage: python checklicenses.py [--root <root>] [tocheck]
  18   --root   Specifies the repository root. This defaults to "../.." relative
  19            to the script file. This will be correct given the normal location
  20            of the script in "<root>/tools/checklicenses".
  21
  22   --ignore-suppressions  Ignores path-specific license whitelist. Useful when
  23                          trying to remove a suppression/whitelist entry.
  24
  25   tocheck  Specifies the directory, relative to root, to check. This defaults
  26            to "." so it checks everything.
  27
  28 Examples:
  29   python checklicenses.py
  30   python checklicenses.py --root ~/chromium/src third_party"""
  31
  32
  33 WHITELISTED_LICENSES = [
  34     'Anti-Grain Geometry',
  35     'Apache (v2.0)',
  36     'Apache (v2.0) BSD (2 clause)',
  37     'Apache (v2.0) GPL (v2)',
  38     'Apple MIT',  # https://fedoraproject.org/wiki/Licensing/Apple_MIT_License
  39     'APSL (v2)',
  40     'APSL (v2) BSD (4 clause)',
  41     'BSD',
  42     'BSD (2 clause)',
  43     'BSD (2 clause) ISC',
  44     'BSD (2 clause) MIT/X11 (BSD like)',
  45     'BSD (3 clause)',
  46     'BSD (3 clause) GPL (v2)',
  47     'BSD (3 clause) ISC',
  48     'BSD (3 clause) LGPL (v2 or later)',
  49     'BSD (3 clause) LGPL (v2.1 or later)',
  50     'BSD (3 clause) MIT/X11 (BSD like)',
  51     'BSD (4 clause)',
  52     'BSD-like',
  53
  54     # TODO(phajdan.jr): Make licensecheck not print BSD-like twice.
  55     'BSD-like MIT/X11 (BSD like)',
  56
  57     'BSL (v1.0)',
  58     'FreeType (BSD like)',
  59     'FreeType (BSD like) with patent clause',
  60     'GPL (v2) LGPL (v2.1 or later)',
  61     'GPL (v2 or later) with Bison parser exception',
  62     'GPL (v2 or later) with libtool exception',
  63     'GPL (v3 or later) with Bison parser exception',
  64     'GPL with Bison parser exception',
  65     'Independent JPEG Group License',
  66     'ISC',
  67     'LGPL (unversioned/unknown version)',
  68     'LGPL (v2)',
  69     'LGPL (v2 or later)',
  70     'LGPL (v2.1)',
  71     'LGPL (v2.1 or later)',
  72     'LGPL (v3 or later)',
  73     'MIT/X11 (BSD like)',
  74     'MIT/X11 (BSD like) LGPL (v2.1 or later)',
  75     'MPL (v1.0) LGPL (v2 or later)',
  76     'MPL (v1.1)',
  77     'MPL (v1.1) BSD (3 clause) GPL (v2) LGPL (v2.1 or later)',
  78     'MPL (v1.1) BSD (3 clause) LGPL (v2.1 or later)',
  79     'MPL (v1.1) BSD-like',
  80     'MPL (v1.1) BSD-like GPL (unversioned/unknown version)',
  81     'MPL (v1.1) BSD-like GPL (v2) LGPL (v2.1 or later)',
  82     'MPL (v1.1) GPL (v2)',
  83     'MPL (v1.1) GPL (v2) LGPL (v2 or later)',
  84     'MPL (v1.1) GPL (v2) LGPL (v2.1 or later)',
  85     'MPL (v1.1) GPL (unversioned/unknown version)',
  86     'MPL (v1.1) LGPL (v2 or later)',
  87     'MPL (v1.1) LGPL (v2.1 or later)',
  88     'MPL (v2.0)',
  89     'Ms-PL',
  90     'Public domain',
  91     'Public domain BSD',
  92     'Public domain BSD (3 clause)',
  93     'Public domain BSD-like',
  94     'Public domain LGPL (v2.1 or later)',
  95     'libpng',
  96     'zlib/libpng',
  97     'SGI Free Software License B',
  98     'SunSoft (BSD like)',
  99     'University of Illinois/NCSA Open Source License (BSD like)',
 100     ('University of Illinois/NCSA Open Source License (BSD like) '
 101      'MIT/X11 (BSD like)'),
 102 ]
 103
 104
 105 PATH_SPECIFIC_WHITELISTED_LICENSES = {
 106     'base/third_party/icu': [  # http://crbug.com/98087
 107         'UNKNOWN',
 108     ],
 109
 110     # http://code.google.com/p/google-breakpad/issues/detail?id=450
 111     'breakpad/src': [
 112         'UNKNOWN',
 113     ],
 114
 115     'chrome/common/extensions/docs/examples': [  # http://crbug.com/98092
 116         'UNKNOWN',
 117     ],
 118     # This contains files copied from elsewhere from the tree. Since the copied
 119     # directories might have suppressions below (like simplejson), whitelist the
 120     # whole directory. This is also not shipped code.
 121     'chrome/common/extensions/docs/server2/third_party': [
 122         'UNKNOWN',
 123     ],
 124     'courgette/third_party/bsdiff_create.cc': [  # http://crbug.com/98095
 125         'UNKNOWN',
 126     ],
 127     'native_client': [  # http://crbug.com/98099
 128         'UNKNOWN',
 129     ],
 130     'native_client/toolchain': [
 131         'BSD GPL (v2 or later)',
 132         'BSD (2 clause) GPL (v2 or later)',
 133         'BSD (3 clause) GPL (v2 or later)',
 134         'BSL (v1.0) GPL',
 135         'BSL (v1.0) GPL (v3.1)',
 136         'GPL',
 137         'GPL (unversioned/unknown version)',
 138         'GPL (v2)',
 139         'GPL (v2 or later)',
 140         'GPL (v3.1)',
 141         'GPL (v3 or later)',
 142     ],
 143     'third_party/WebKit': [
 144         'UNKNOWN',
 145     ],
 146
 147     # http://code.google.com/p/angleproject/issues/detail?id=217
 148     'third_party/angle': [
 149         'UNKNOWN',
 150     ],
 151
 152     # http://crbug.com/222828
 153     # http://bugs.python.org/issue17514
 154     'third_party/chromite/third_party/argparse.py': [
 155         'UNKNOWN',
 156     ],
 157
 158     # http://crbug.com/326117
 159     # https://bitbucket.org/chrisatlee/poster/issue/21
 160     'third_party/chromite/third_party/poster': [
 161         'UNKNOWN',
 162     ],
 163
 164     # http://crbug.com/333508
 165     'third_party/clang_format/script': [
 166         'UNKNOWN',
 167     ],
 168
 169     # http://crbug.com/333508
 170     'buildtools/clang_format/script': [
 171         'UNKNOWN',
 172     ],
 173
 174     # https://mail.python.org/pipermail/cython-devel/2014-July/004062.html
 175     'third_party/cython': [
 176         'UNKNOWN',
 177     ],
 178
 179     'third_party/devscripts': [
 180         'GPL (v2 or later)',
 181     ],
 182     'third_party/expat/files/lib': [  # http://crbug.com/98121
 183         'UNKNOWN',
 184     ],
 185     'third_party/ffmpeg': [
 186         'GPL',
 187         'GPL (v2)',
 188         'GPL (v2 or later)',
 189         'UNKNOWN',  # http://crbug.com/98123
 190     ],
 191     'third_party/fontconfig': [
 192         # https://bugs.freedesktop.org/show_bug.cgi?id=73401
 193         'UNKNOWN',
 194     ],
 195     'third_party/freetype2': [ # http://crbug.com/177319
 196         'UNKNOWN',
 197     ],
 198     'third_party/hunspell': [  # http://crbug.com/98134
 199         'UNKNOWN',
 200     ],
 201     'third_party/iccjpeg': [  # http://crbug.com/98137
 202         'UNKNOWN',
 203     ],
 204     'third_party/icu': [  # http://crbug.com/98301
 205         'UNKNOWN',
 206     ],
 207     'third_party/lcov': [  # http://crbug.com/98304
 208         'UNKNOWN',
 209     ],
 210     'third_party/lcov/contrib/galaxy/genflat.pl': [
 211         'GPL (v2 or later)',
 212     ],
 213     'third_party/libc++/trunk/include/support/solaris': [
 214         # http://llvm.org/bugs/show_bug.cgi?id=18291
 215         'UNKNOWN',
 216     ],
 217     'third_party/libc++/trunk/src/support/solaris/xlocale.c': [
 218         # http://llvm.org/bugs/show_bug.cgi?id=18291
 219         'UNKNOWN',
 220     ],
 221     'third_party/libc++/trunk/test': [
 222         # http://llvm.org/bugs/show_bug.cgi?id=18291
 223         'UNKNOWN',
 224     ],
 225     'third_party/libevent': [  # http://crbug.com/98309
 226         'UNKNOWN',
 227     ],
 228     'third_party/libjingle/source/talk': [  # http://crbug.com/98310
 229         'UNKNOWN',
 230     ],
 231     'third_party/libjpeg_turbo': [  # http://crbug.com/98314
 232         'UNKNOWN',
 233     ],
 234     'third_party/libpng': [  # http://crbug.com/98318
 235         'UNKNOWN',
 236     ],
 237
 238     # The following files lack license headers, but are trivial.
 239     'third_party/libusb/src/libusb/os/poll_posix.h': [
 240         'UNKNOWN',
 241     ],
 242
 243     'third_party/libvpx/source': [  # http://crbug.com/98319
 244         'UNKNOWN',
 245     ],
 246     'third_party/libxml': [
 247         'UNKNOWN',
 248     ],
 249     'third_party/libxslt': [
 250         'UNKNOWN',
 251     ],
 252     'third_party/lzma_sdk': [
 253         'UNKNOWN',
 254     ],
 255     'third_party/mesa/src': [
 256         'GPL (v2)',
 257         'GPL (v3 or later)',
 258         'MIT/X11 (BSD like) GPL (v3 or later) with Bison parser exception',
 259         'UNKNOWN',  # http://crbug.com/98450
 260     ],
 261     'third_party/modp_b64': [
 262         'UNKNOWN',
 263     ],
 264     'third_party/openmax_dl/dl' : [
 265         'Khronos Group',
 266     ],
 267     'third_party/openssl': [  # http://crbug.com/98451
 268         'UNKNOWN',
 269     ],
 270     'third_party/boringssl': [
 271         # There are some files in BoringSSL which came from OpenSSL and have no
 272         # license in them. We don't wish to add the license header ourselves
 273         # thus we don't expect to pass license checks.
 274         'UNKNOWN',
 275     ],
 276     'third_party/ots/tools/ttf-checksum.py': [  # http://code.google.com/p/ots/issues/detail?id=2
 277         'UNKNOWN',
 278     ],
 279     'third_party/molokocacao': [  # http://crbug.com/98453
 280         'UNKNOWN',
 281     ],
 282     'third_party/npapi/npspy': [
 283         'UNKNOWN',
 284     ],
 285     'third_party/ocmock/OCMock': [  # http://crbug.com/98454
 286         'UNKNOWN',
 287     ],
 288     'third_party/ply/__init__.py': [
 289         'UNKNOWN',
 290     ],
 291     'third_party/protobuf': [  # http://crbug.com/98455
 292         'UNKNOWN',
 293     ],
 294
 295     # http://crbug.com/222831
 296     # https://bitbucket.org/eliben/pyelftools/issue/12
 297     'third_party/pyelftools': [
 298         'UNKNOWN',
 299     ],
 300
 301     'third_party/scons-2.0.1/engine/SCons': [  # http://crbug.com/98462
 302         'UNKNOWN',
 303     ],
 304     'third_party/simplejson': [
 305         'UNKNOWN',
 306     ],
 307     'third_party/skia': [  # http://crbug.com/98463
 308         'UNKNOWN',
 309     ],
 310     'third_party/snappy/src': [  # http://crbug.com/98464
 311         'UNKNOWN',
 312     ],
 313     'third_party/smhasher/src': [  # http://crbug.com/98465
 314         'UNKNOWN',
 315     ],
 316     'third_party/speech-dispatcher/libspeechd.h': [
 317         'GPL (v2 or later)',
 318     ],
 319     'third_party/sqlite': [
 320         'UNKNOWN',
 321     ],
 322
 323     # http://crbug.com/334668
 324     # MIT license.
 325     'tools/swarming_client/third_party/httplib2': [
 326         'UNKNOWN',
 327     ],
 328
 329     # http://crbug.com/334668
 330     # Apache v2.0.
 331     'tools/swarming_client/third_party/oauth2client': [
 332         'UNKNOWN',
 333     ],
 334
 335     # https://github.com/kennethreitz/requests/issues/1610
 336     'tools/swarming_client/third_party/requests': [
 337         'UNKNOWN',
 338     ],
 339
 340     'third_party/swig/Lib/linkruntime.c': [  # http://crbug.com/98585
 341         'UNKNOWN',
 342     ],
 343     'third_party/talloc': [
 344         'GPL (v3 or later)',
 345         'UNKNOWN',  # http://crbug.com/98588
 346     ],
 347     'third_party/tcmalloc': [
 348         'UNKNOWN',  # http://crbug.com/98589
 349     ],
 350     'third_party/tlslite': [
 351         'UNKNOWN',
 352     ],
 353     'third_party/webdriver': [  # http://crbug.com/98590
 354         'UNKNOWN',
 355     ],
 356
 357     # https://github.com/html5lib/html5lib-python/issues/125
 358     # https://github.com/KhronosGroup/WebGL/issues/435
 359     'third_party/webgl/src': [
 360         'UNKNOWN',
 361     ],
 362
 363     'third_party/webrtc': [  # http://crbug.com/98592
 364         'UNKNOWN',
 365     ],
 366     'third_party/xdg-utils': [  # http://crbug.com/98593
 367         'UNKNOWN',
 368     ],
 369     'third_party/yasm/source': [  # http://crbug.com/98594
 370         'UNKNOWN',
 371     ],
 372     'third_party/zlib/contrib/minizip': [
 373         'UNKNOWN',
 374     ],
 375     'third_party/zlib/trees.h': [
 376         'UNKNOWN',
 377     ],
 378     'tools/emacs': [  # http://crbug.com/98595
 379         'UNKNOWN',
 380     ],
 381     'tools/gyp/test': [
 382         'UNKNOWN',
 383     ],
 384     'tools/python/google/__init__.py': [
 385         'UNKNOWN',
 386     ],
 387     'tools/stats_viewer/Properties/AssemblyInfo.cs': [
 388         'UNKNOWN',
 389     ],
 390     'tools/symsrc/pefile.py': [
 391         'UNKNOWN',
 392     ],
 393     'tools/telemetry/third_party/pyserial': [
 394         # https://sourceforge.net/p/pyserial/feature-requests/35/
 395         'UNKNOWN',
 396     ],
 397     'v8/test/cctest': [  # http://crbug.com/98597
 398         'UNKNOWN',
 399     ],
 400     'v8/src/third_party/kernel/tools/perf/util/jitdump.h': [  # http://crbug.com/391716
 401         'UNKNOWN',
 402     ],
 403 }
 404
 405
 406 def check_licenses(options, args):
 407   # Figure out which directory we have to check.
 408   if len(args) == 0:
 409     # No directory to check specified, use the repository root.
 410     start_dir = options.base_directory
 411   elif len(args) == 1:
 412     # Directory specified. Start here. It's supposed to be relative to the
 413     # base directory.
 414     start_dir = os.path.abspath(os.path.join(options.base_directory, args[0]))
 415   else:
 416     # More than one argument, we don't handle this.
 417     PrintUsage()
 418     return 1
 419
 420   print "Using base directory:", options.base_directory
 421   print "Checking:", start_dir
 422   print
 423
 424   licensecheck_path = os.path.abspath(os.path.join(options.base_directory,
 425                                                    'third_party',
 426                                                    'devscripts',
 427                                                    'licensecheck.pl'))
 428
 429   licensecheck = subprocess.Popen([licensecheck_path,
 430                                    '-l', '100',
 431                                    '-r', start_dir],
 432                                   stdout=subprocess.PIPE,
 433                                   stderr=subprocess.PIPE)
 434   stdout, stderr = licensecheck.communicate()
 435   if options.verbose:
 436     print '----------- licensecheck stdout -----------'
 437     print stdout
 438     print '--------- end licensecheck stdout ---------'
 439   if licensecheck.returncode != 0 or stderr:
 440     print '----------- licensecheck stderr -----------'
 441     print stderr
 442     print '--------- end licensecheck stderr ---------'
 443     print "\nFAILED\n"
 444     return 1
 445
 446   used_suppressions = set()
 447   errors = []
 448
 449   for line in stdout.splitlines():
 450     filename, license = line.split(':', 1)
 451     filename = os.path.relpath(filename.strip(), options.base_directory)
 452
 453     # All files in the build output directory are generated one way or another.
 454     # There's no need to check them.
 455     if filename.startswith('out/'):
 456       continue
 457
 458     # For now we're just interested in the license.
 459     license = license.replace('*No copyright*', '').strip()
 460
 461     # Skip generated files.
 462     if 'GENERATED FILE' in license:
 463       continue
 464
 465     if license in WHITELISTED_LICENSES:
 466       continue
 467
 468     if not options.ignore_suppressions:
 469       matched_prefixes = [
 470           prefix for prefix in PATH_SPECIFIC_WHITELISTED_LICENSES
 471           if filename.startswith(prefix) and
 472           license in PATH_SPECIFIC_WHITELISTED_LICENSES[prefix]]
 473       if matched_prefixes:
 474         used_suppressions.update(set(matched_prefixes))
 475         continue
 476
 477     errors.append({'filename': filename, 'license': license})
 478
 479   if options.json:
 480     with open(options.json, 'w') as f:
 481       json.dump(errors, f)
 482
 483   if errors:
 484     for error in errors:
 485       print "'%s' has non-whitelisted license '%s'" % (
 486           error['filename'], error['license'])
 487     print "\nFAILED\n"
 488     print "Please read",
 489     print "http://www.chromium.org/developers/adding-3rd-party-libraries"
 490     print "for more info how to handle the failure."
 491     print
 492     print "Please respect OWNERS of checklicenses.py. Changes violating"
 493     print "this requirement may be reverted."
 494
 495     # Do not print unused suppressions so that above message is clearly
 496     # visible and gets proper attention. Too much unrelated output
 497     # would be distracting and make the important points easier to miss.
 498
 499     return 1
 500
 501   print "\nSUCCESS\n"
 502
 503   if not len(args):
 504     unused_suppressions = set(
 505         PATH_SPECIFIC_WHITELISTED_LICENSES.iterkeys()).difference(
 506             used_suppressions)
 507     if unused_suppressions:
 508       print "\nNOTE: unused suppressions detected:\n"
 509       print '\n'.join(unused_suppressions)
 510
 511   return 0
 512
 513
 514 def main():
 515   default_root = os.path.abspath(
 516       os.path.join(os.path.dirname(__file__), '..', '..'))
 517   option_parser = optparse.OptionParser()
 518   option_parser.add_option('--root', default=default_root,
 519                            dest='base_directory',
 520                            help='Specifies the repository root. This defaults '
 521                            'to "../.." relative to the script file, which '
 522                            'will normally be the repository root.')
 523   option_parser.add_option('-v', '--verbose', action='store_true',
 524                            default=False, help='Print debug logging')
 525   option_parser.add_option('--ignore-suppressions',
 526                            action='store_true',
 527                            default=False,
 528                            help='Ignore path-specific license whitelist.')
 529   option_parser.add_option('--json', help='Path to JSON output file')
 530   options, args = option_parser.parse_args()
 531   return check_licenses(options, args)
 532
 533
 534 if '__main__' == __name__:
 535   sys.exit(main())