libsoup/tld-parser.py

   1 #!/usr/bin/env python
   2
   3 # Generate tld rules
   4 # Copyright (C) 2012 Red Hat, Inc.
   5 # Based on tld-parser.c Copyright (C) 2012 Igalia S.L.
   6
   7 import sys
   8 import codecs
   9
  10 SOUP_TLD_RULE_NORMAL = 0
  11 SOUP_TLD_RULE_MATCH_ALL = 1 << 0
  12 SOUP_TLD_RULE_EXCEPTION = 1 << 1
  13
  14 tlds_file = codecs.open(sys.argv[1], encoding='utf-8')
  15 inc_file = codecs.open(sys.argv[2], 'w', encoding='utf-8')
  16
  17 first = True
  18 for rule in tlds_file:
  19     rule = rule.strip()
  20     if rule == '' or rule.startswith('//'):
  21         continue
  22     domain = rule
  23     flags = 0
  24     if rule[0] == '!':
  25         domain = domain[1:]
  26         flags |= SOUP_TLD_RULE_EXCEPTION
  27
  28     if domain.startswith('*.'):
  29         domain = domain[2:]
  30         flags |= SOUP_TLD_RULE_MATCH_ALL
  31
  32     if domain.startswith('.'):
  33         domain = domain[1:]
  34
  35     if not first:
  36         inc_file.write(',\n')
  37     else:
  38         first = False
  39     inc_file.write('{ "%s", %d }' % (domain.strip(), flags))
  40
  41 inc_file.write('\n')
  42
  43 tlds_file.close()
  44 inc_file.close()
  45