PRESUBMIT.py

   1 # Copyright (c) 2013 The Chromium Authors. All rights reserved.
   2 # Use of this source code is governed by a BSD-style license that can be
   3 # found in the LICENSE file.
   4
   5
   6 """Top-level presubmit script for Skia.
   7
   8 See http://dev.chromium.org/developers/how-tos/depottools/presubmit-scripts
   9 for more details about the presubmit API built into gcl.
  10 """
  11
  12 import fnmatch
  13 import os
  14 import re
  15 import subprocess
  16 import sys
  17 import traceback
  18
  19
  20 REVERT_CL_SUBJECT_PREFIX = 'Revert '
  21
  22 SKIA_TREE_STATUS_URL = 'http://skia-tree-status.appspot.com'
  23
  24 # Please add the complete email address here (and not just 'xyz@' or 'xyz').
  25 PUBLIC_API_OWNERS = (
  26     'reed@chromium.org',
  27     'reed@google.com',
  28     'bsalomon@chromium.org',
  29     'bsalomon@google.com',
  30     'djsollen@chromium.org',
  31     'djsollen@google.com',
  32 )
  33
  34 AUTHORS_FILE_NAME = 'AUTHORS'
  35
  36 DOCS_PREVIEW_URL = 'https://skia.org/?cl='
  37
  38
  39 def _CheckChangeHasEol(input_api, output_api, source_file_filter=None):
  40   """Checks that files end with atleast one \n (LF)."""
  41   eof_files = []
  42   for f in input_api.AffectedSourceFiles(source_file_filter):
  43     contents = input_api.ReadFile(f, 'rb')
  44     # Check that the file ends in atleast one newline character.
  45     if len(contents) > 1 and contents[-1:] != '\n':
  46       eof_files.append(f.LocalPath())
  47
  48   if eof_files:
  49     return [output_api.PresubmitPromptWarning(
  50       'These files should end in a newline character:',
  51       items=eof_files)]
  52   return []
  53
  54
  55 def _PythonChecks(input_api, output_api):
  56   """Run checks on any modified Python files."""
  57   pylint_disabled_warnings = (
  58       'F0401',  # Unable to import.
  59       'E0611',  # No name in module.
  60       'W0232',  # Class has no __init__ method.
  61       'E1002',  # Use of super on an old style class.
  62       'W0403',  # Relative import used.
  63       'R0201',  # Method could be a function.
  64       'E1003',  # Using class name in super.
  65       'W0613',  # Unused argument.
  66   )
  67   # Run Pylint on only the modified python files. Unfortunately it still runs
  68   # Pylint on the whole file instead of just the modified lines.
  69   affected_python_files = []
  70   for affected_file in input_api.AffectedSourceFiles(None):
  71     affected_file_path = affected_file.LocalPath()
  72     if affected_file_path.endswith('.py'):
  73       affected_python_files.append(affected_file_path)
  74   return input_api.canned_checks.RunPylint(
  75       input_api, output_api,
  76       disabled_warnings=pylint_disabled_warnings,
  77       white_list=affected_python_files)
  78
  79
  80 def _IfDefChecks(input_api, output_api):
  81   """Ensures if/ifdef are not before includes. See skbug/3362 for details."""
  82   comment_block_start_pattern = re.compile('^\s*\/\*.*$')
  83   comment_block_middle_pattern = re.compile('^\s+\*.*')
  84   comment_block_end_pattern = re.compile('^\s+\*\/.*$')
  85   single_line_comment_pattern = re.compile('^\s*//.*$')
  86   def is_comment(line):
  87     return (comment_block_start_pattern.match(line) or
  88             comment_block_middle_pattern.match(line) or
  89             comment_block_end_pattern.match(line) or
  90             single_line_comment_pattern.match(line))
  91
  92   empty_line_pattern = re.compile('^\s*$')
  93   def is_empty_line(line):
  94     return empty_line_pattern.match(line)
  95
  96   failing_files = []
  97   for affected_file in input_api.AffectedSourceFiles(None):
  98     affected_file_path = affected_file.LocalPath()
  99     if affected_file_path.endswith('.cpp') or affected_file_path.endswith('.h'):
 100       f = open(affected_file_path)
 101       for line in f.xreadlines():
 102         if is_comment(line) or is_empty_line(line):
 103           continue
 104         # The below will be the first real line after comments and newlines.
 105         if line.startswith('#if 0 '):
 106           pass
 107         elif line.startswith('#if ') or line.startswith('#ifdef '):
 108           failing_files.append(affected_file_path)
 109         break
 110
 111   results = []
 112   if failing_files:
 113     results.append(
 114         output_api.PresubmitError(
 115             'The following files have #if or #ifdef before includes:\n%s\n\n'
 116             'See skbug.com/3362 for why this should be fixed.' %
 117                 '\n'.join(failing_files)))
 118   return results
 119
 120
 121 def _CommonChecks(input_api, output_api):
 122   """Presubmit checks common to upload and commit."""
 123   results = []
 124   sources = lambda x: (x.LocalPath().endswith('.h') or
 125                        x.LocalPath().endswith('.gypi') or
 126                        x.LocalPath().endswith('.gyp') or
 127                        x.LocalPath().endswith('.py') or
 128                        x.LocalPath().endswith('.sh') or
 129                        x.LocalPath().endswith('.cpp'))
 130   results.extend(
 131       _CheckChangeHasEol(
 132           input_api, output_api, source_file_filter=sources))
 133   results.extend(_PythonChecks(input_api, output_api))
 134   results.extend(_IfDefChecks(input_api, output_api))
 135   return results
 136
 137
 138 def CheckChangeOnUpload(input_api, output_api):
 139   """Presubmit checks for the change on upload.
 140
 141   The following are the presubmit checks:
 142   * Check change has one and only one EOL.
 143   """
 144   results = []
 145   results.extend(_CommonChecks(input_api, output_api))
 146   return results
 147
 148
 149 def _CheckTreeStatus(input_api, output_api, json_url):
 150   """Check whether to allow commit.
 151
 152   Args:
 153     input_api: input related apis.
 154     output_api: output related apis.
 155     json_url: url to download json style status.
 156   """
 157   tree_status_results = input_api.canned_checks.CheckTreeIsOpen(
 158       input_api, output_api, json_url=json_url)
 159   if not tree_status_results:
 160     # Check for caution state only if tree is not closed.
 161     connection = input_api.urllib2.urlopen(json_url)
 162     status = input_api.json.loads(connection.read())
 163     connection.close()
 164     if ('caution' in status['message'].lower() and
 165         os.isatty(sys.stdout.fileno())):
 166       # Display a prompt only if we are in an interactive shell. Without this
 167       # check the commit queue behaves incorrectly because it considers
 168       # prompts to be failures.
 169       short_text = 'Tree state is: ' + status['general_state']
 170       long_text = status['message'] + '\n' + json_url
 171       tree_status_results.append(
 172           output_api.PresubmitPromptWarning(
 173               message=short_text, long_text=long_text))
 174   else:
 175     # Tree status is closed. Put in message about contacting sheriff.
 176     connection = input_api.urllib2.urlopen(
 177         SKIA_TREE_STATUS_URL + '/current-sheriff')
 178     sheriff_details = input_api.json.loads(connection.read())
 179     if sheriff_details:
 180       tree_status_results[0]._message += (
 181           '\n\nPlease contact the current Skia sheriff (%s) if you are trying '
 182           'to submit a build fix\nand do not know how to submit because the '
 183           'tree is closed') % sheriff_details['username']
 184   return tree_status_results
 185
 186
 187 def _CheckOwnerIsInAuthorsFile(input_api, output_api):
 188   results = []
 189   issue = input_api.change.issue
 190   if issue and input_api.rietveld:
 191     issue_properties = input_api.rietveld.get_issue_properties(
 192         issue=int(issue), messages=False)
 193     owner_email = issue_properties['owner_email']
 194
 195     try:
 196       authors_content = ''
 197       for line in open(AUTHORS_FILE_NAME):
 198         if not line.startswith('#'):
 199           authors_content += line
 200       email_fnmatches = re.findall('<(.*)>', authors_content)
 201       for email_fnmatch in email_fnmatches:
 202         if fnmatch.fnmatch(owner_email, email_fnmatch):
 203           # Found a match, the user is in the AUTHORS file break out of the loop
 204           break
 205       else:
 206         # TODO(rmistry): Remove the below CLA messaging once a CLA checker has
 207         # been added to the CQ.
 208         results.append(
 209           output_api.PresubmitError(
 210             'The email %s is not in Skia\'s AUTHORS file.\n'
 211             'Issue owner, this CL must include an addition to the Skia AUTHORS '
 212             'file.\n'
 213             'Googler reviewers, please check that the AUTHORS entry '
 214             'corresponds to an email address in http://goto/cla-signers. If it '
 215             'does not then ask the issue owner to sign the CLA at '
 216             'https://developers.google.com/open-source/cla/individual '
 217             '(individual) or '
 218             'https://developers.google.com/open-source/cla/corporate '
 219             '(corporate).'
 220             % owner_email))
 221     except IOError:
 222       # Do not fail if authors file cannot be found.
 223       traceback.print_exc()
 224       input_api.logging.error('AUTHORS file not found!')
 225
 226   return results
 227
 228
 229 def _CheckLGTMsForPublicAPI(input_api, output_api):
 230   """Check LGTMs for public API changes.
 231
 232   For public API files make sure there is an LGTM from the list of owners in
 233   PUBLIC_API_OWNERS.
 234   """
 235   results = []
 236   requires_owner_check = False
 237   for affected_file in input_api.AffectedFiles():
 238     affected_file_path = affected_file.LocalPath()
 239     file_path, file_ext = os.path.splitext(affected_file_path)
 240     # We only care about files that end in .h and are under the top-level
 241     # include dir.
 242     if file_ext == '.h' and 'include' == file_path.split(os.path.sep)[0]:
 243       requires_owner_check = True
 244
 245   if not requires_owner_check:
 246     return results
 247
 248   lgtm_from_owner = False
 249   issue = input_api.change.issue
 250   if issue and input_api.rietveld:
 251     issue_properties = input_api.rietveld.get_issue_properties(
 252         issue=int(issue), messages=True)
 253     if re.match(REVERT_CL_SUBJECT_PREFIX, issue_properties['subject'], re.I):
 254       # It is a revert CL, ignore the public api owners check.
 255       return results
 256
 257     if re.search(r'^COMMIT=false$', issue_properties['description'], re.M):
 258       # Ignore public api owners check for COMMIT=false CLs since they are not
 259       # going to be committed.
 260       return results
 261
 262     match = re.search(r'^TBR=(.*)$', issue_properties['description'], re.M)
 263     if match:
 264       tbr_entries = match.group(1).strip().split(',')
 265       for owner in PUBLIC_API_OWNERS:
 266         if owner in tbr_entries or owner.split('@')[0] in tbr_entries:
 267           # If an owner is specified in the TBR= line then ignore the public
 268           # api owners check.
 269           return results
 270
 271     if issue_properties['owner_email'] in PUBLIC_API_OWNERS:
 272       # An owner created the CL that is an automatic LGTM.
 273       lgtm_from_owner = True
 274
 275     messages = issue_properties.get('messages')
 276     if messages:
 277       for message in messages:
 278         if (message['sender'] in PUBLIC_API_OWNERS and
 279             'lgtm' in message['text'].lower()):
 280           # Found an lgtm in a message from an owner.
 281           lgtm_from_owner = True
 282           break
 283
 284   if not lgtm_from_owner:
 285     results.append(
 286         output_api.PresubmitError(
 287             'Since the CL is editing public API, you must have an LGTM from '
 288             'one of: %s' % str(PUBLIC_API_OWNERS)))
 289   return results
 290
 291
 292 def PostUploadHook(cl, change, output_api):
 293   """git cl upload will call this hook after the issue is created/modified.
 294
 295   This hook does the following:
 296   * Adds a link to preview docs changes if there are any docs changes in the CL.
 297   * Adds 'NOTRY=true' if the CL contains only docs changes.
 298   * Adds 'NOTREECHECKS=true' for non master branch changes since they do not
 299     need to be gated on the master branch's tree.
 300   * Adds 'NOTRY=true' for non master branch changes since trybots do not yet
 301     work on them.
 302   """
 303
 304   results = []
 305   atleast_one_docs_change = False
 306   all_docs_changes = True
 307   for affected_file in change.AffectedFiles():
 308     affected_file_path = affected_file.LocalPath()
 309     file_path, _ = os.path.splitext(affected_file_path)
 310     if 'site' == file_path.split(os.path.sep)[0]:
 311       atleast_one_docs_change = True
 312     else:
 313       all_docs_changes = False
 314     if atleast_one_docs_change and not all_docs_changes:
 315       break
 316
 317   issue = cl.issue
 318   rietveld_obj = cl.RpcServer()
 319   if issue and rietveld_obj:
 320     original_description = rietveld_obj.get_description(issue)
 321     new_description = original_description
 322
 323     # If the change includes only doc changes then add NOTRY=true in the
 324     # CL's description if it does not exist yet.
 325     if all_docs_changes and not re.search(
 326         r'^NOTRY=true$', new_description, re.M | re.I):
 327       new_description += '\nNOTRY=true'
 328       results.append(
 329           output_api.PresubmitNotifyResult(
 330               'This change has only doc changes. Automatically added '
 331               '\'NOTRY=true\' to the CL\'s description'))
 332
 333     # If there is atleast one docs change then add preview link in the CL's
 334     # description if it does not already exist there.
 335     if atleast_one_docs_change and not re.search(
 336         r'^DOCS_PREVIEW=.*', new_description, re.M | re.I):
 337       # Automatically add a link to where the docs can be previewed.
 338       new_description += '\nDOCS_PREVIEW= %s%s' % (DOCS_PREVIEW_URL, issue)
 339       results.append(
 340           output_api.PresubmitNotifyResult(
 341               'Automatically added a link to preview the docs changes to the '
 342               'CL\'s description'))
 343
 344     # If the target ref is not master then add NOTREECHECKS=true and NOTRY=true
 345     # to the CL's description if it does not already exist there.
 346     target_ref = rietveld_obj.get_issue_properties(issue, False).get(
 347         'target_ref', '')
 348     if target_ref != 'refs/heads/master':
 349       if not re.search(
 350           r'^NOTREECHECKS=true$', new_description, re.M | re.I):
 351         new_description += "\nNOTREECHECKS=true"
 352         results.append(
 353             output_api.PresubmitNotifyResult(
 354                 'Branch changes do not need to rely on the master branch\'s '
 355                 'tree status. Automatically added \'NOTREECHECKS=true\' to the '
 356                 'CL\'s description'))
 357       if not re.search(
 358           r'^NOTRY=true$', new_description, re.M | re.I):
 359         new_description += "\nNOTRY=true"
 360         results.append(
 361             output_api.PresubmitNotifyResult(
 362                 'Trybots do not yet work for non-master branches. '
 363                 'Automatically added \'NOTRY=true\' to the CL\'s description'))
 364
 365
 366     # If the description has changed update it.
 367     if new_description != original_description:
 368       rietveld_obj.update_description(issue, new_description)
 369
 370     return results
 371
 372
 373 def CheckChangeOnCommit(input_api, output_api):
 374   """Presubmit checks for the change on commit.
 375
 376   The following are the presubmit checks:
 377   * Check change has one and only one EOL.
 378   * Ensures that the Skia tree is open in
 379     http://skia-tree-status.appspot.com/. Shows a warning if it is in 'Caution'
 380     state and an error if it is in 'Closed' state.
 381   """
 382   results = []
 383   results.extend(_CommonChecks(input_api, output_api))
 384   results.extend(
 385       _CheckTreeStatus(input_api, output_api, json_url=(
 386           SKIA_TREE_STATUS_URL + '/banner-status?format=json')))
 387   results.extend(_CheckLGTMsForPublicAPI(input_api, output_api))
 388   results.extend(_CheckOwnerIsInAuthorsFile(input_api, output_api))
 389   return results