src/third_party/WebKit/Source/bindings/scripts/blink_idl_lexer.py

   1 # Copyright (C) 2013 Google Inc. All rights reserved.
   2 #
   3 # Redistribution and use in source and binary forms, with or without
   4 # modification, are permitted provided that the following conditions are
   5 # met:
   6 #
   7 #     * Redistributions of source code must retain the above copyright
   8 # notice, this list of conditions and the following disclaimer.
   9 #     * Redistributions in binary form must reproduce the above
  10 # copyright notice, this list of conditions and the following disclaimer
  11 # in the documentation and/or other materials provided with the
  12 # distribution.
  13 #     * Neither the name of Google Inc. nor the names of its
  14 # contributors may be used to endorse or promote products derived from
  15 # this software without specific prior written permission.
  16 #
  17 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  18 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  19 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  20 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  21 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  22 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  23 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  24 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  25 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  27 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28
  29 """Lexer for Blink IDL.
  30
  31 The lexer uses the PLY (Python Lex-Yacc) library to build a tokenizer which
  32 understands the Blink dialect of Web IDL and produces a token stream suitable
  33 for the Blink IDL parser.
  34
  35 Blink IDL is identical to Web IDL at the token level, but the base lexer
  36 does not discard comments. We need to override (and not include comments in
  37 the token stream), as otherwise comments must be explicitly included in the
  38 phrase grammar of the parser.
  39
  40 FIXME: Change base lexer to discard comments, and simply used the base
  41 lexer, eliminating this separate lexer.
  42
  43 Web IDL:
  44     http://www.w3.org/TR/WebIDL/
  45 Web IDL Grammar:
  46     http://www.w3.org/TR/WebIDL/#idl-grammar
  47 PLY:
  48     http://www.dabeaz.com/ply/
  49
  50 Design doc:
  51 http://www.chromium.org/developers/design-documents/idl-compiler#TOC-Front-end
  52 """
  53
  54 # Disable attribute validation, as lint can't import parent class to check
  55 # pylint: disable=E1101
  56
  57 import os.path
  58 import sys
  59
  60 # PLY is in Chromium src/third_party/ply
  61 module_path, module_name = os.path.split(__file__)
  62 third_party = os.path.join(module_path, os.pardir, os.pardir, os.pardir, os.pardir)
  63 # Insert at front to override system libraries, and after path[0] == script dir
  64 sys.path.insert(1, third_party)
  65 from ply import lex
  66
  67 # Base lexer is in Chromium src/tools/idl_parser
  68 tools_dir = os.path.join(third_party, os.pardir, 'tools')
  69 sys.path.append(tools_dir)
  70 from idl_parser.idl_lexer import IDLLexer
  71
  72 LEXTAB = 'lextab'
  73 REMOVE_TOKENS = ['COMMENT']
  74
  75
  76 class BlinkIDLLexer(IDLLexer):
  77     # ignore comments
  78     def t_COMMENT(self, t):
  79         r'(/\*(.|\n)*?\*/)|(//.*(\n[ \t]*//.*)*)'
  80         self.AddLines(t.value.count('\n'))
  81
  82     # Analogs to _AddToken/_AddTokens in base lexer
  83     # Needed to remove COMMENT token, since comments ignored
  84     def _RemoveToken(self, token):
  85         if token in self.tokens:
  86             self.tokens.remove(token)
  87
  88     def _RemoveTokens(self, tokens):
  89         for token in tokens:
  90             self._RemoveToken(token)
  91
  92     def __init__(self, debug=False, optimize=True, outputdir=None,
  93                  rewrite_tables=False):
  94         if debug:
  95             # Turn off optimization and caching to help debugging
  96             optimize = False
  97             outputdir = None
  98         if outputdir:
  99             # Need outputdir in path because lex imports the cached lex table
 100             # as a Python module
 101             sys.path.append(outputdir)
 102
 103             if rewrite_tables:
 104                 tablefile_root = os.path.join(outputdir, LEXTAB)
 105                 # Also remove the .pyc/.pyo files, or they'll be used even if
 106                 # the .py file doesn't exist.
 107                 for ext in ('.py', '.pyc', '.pyo'):
 108                     try:
 109                         os.unlink(tablefile_root + ext)
 110                     except OSError:
 111                         pass
 112
 113             lextab = LEXTAB
 114         else:
 115             lextab = None
 116
 117         IDLLexer.__init__(self)
 118         # Overrides to parent class
 119         self._RemoveTokens(REMOVE_TOKENS)
 120         # Optimized mode substantially decreases startup time (by disabling
 121         # error checking), and also allows use of Python's optimized mode.
 122         # See: Optimized Mode
 123         # http://www.dabeaz.com/ply/ply.html#ply_nn15
 124         self._lexobj = lex.lex(object=self,
 125                                debug=debug,
 126                                optimize=optimize,
 127                                lextab=lextab,
 128                                outputdir=outputdir)
 129
 130
 131 ################################################################################
 132
 133 def main(argv):
 134     # If file itself executed, build and cache lex table
 135     try:
 136         outputdir = argv[1]
 137     except IndexError as err:
 138         print 'Usage: %s OUTPUT_DIR' % argv[0]
 139         return 1
 140     # Important: rewrite_tables=True causes the cache file to be deleted if it
 141     # exists, thus making sure that PLY doesn't load it instead of regenerating
 142     # the parse table.
 143     lexer = BlinkIDLLexer(outputdir=outputdir, rewrite_tables=True)
 144
 145
 146 if __name__ == '__main__':
 147     sys.exit(main(sys.argv))