Merge "Merge branch 'tizen_base' into tizen" into tizen
[platform/upstream/libxml2.git] / check-xml-test-suite.py
1 #!/usr/bin/python
2 import sys
3 import time
4 import os
5 import string
6 sys.path.insert(0, "python")
7 import libxml2
8
9 test_nr = 0
10 test_succeed = 0
11 test_failed = 0
12 test_error = 0
13
14 #
15 # the testsuite description
16 #
17 CONF="xml-test-suite/xmlconf/xmlconf.xml"
18 LOG="check-xml-test-suite.log"
19
20 log = open(LOG, "w")
21
22 #
23 # Error and warning handlers
24 #
25 error_nr = 0
26 error_msg = ''
27 def errorHandler(ctx, str):
28     global error_nr
29     global error_msg
30
31     error_nr = error_nr + 1
32     if len(error_msg) < 300:
33         if len(error_msg) == 0 or error_msg[-1] == '\n':
34             error_msg = error_msg + "   >>" + str
35         else:
36             error_msg = error_msg + str
37
38 libxml2.registerErrorHandler(errorHandler, None)
39
40 #warning_nr = 0
41 #warning = ''
42 #def warningHandler(ctx, str):
43 #    global warning_nr
44 #    global warning
45 #
46 #    warning_nr = warning_nr + 1
47 #    warning = warning + str
48 #
49 #libxml2.registerWarningHandler(warningHandler, None)
50
51 #
52 # Used to load the XML testsuite description
53 #
54 def loadNoentDoc(filename):
55     ctxt = libxml2.createFileParserCtxt(filename)
56     if ctxt == None:
57         return None
58     ctxt.replaceEntities(1)
59     ctxt.parseDocument()
60     try:
61         doc = ctxt.doc()
62     except:
63         doc = None
64     if ctxt.wellFormed() != 1:
65         doc.freeDoc()
66         return None
67     return doc
68
69 #
70 # The conformance testing routines
71 #
72
73 def testNotWf(filename, id):
74     global error_nr
75     global error_msg
76     global log
77
78     error_nr = 0
79     error_msg = ''
80
81     ctxt = libxml2.createFileParserCtxt(filename)
82     if ctxt == None:
83         return -1
84     ret = ctxt.parseDocument()
85
86     try:
87         doc = ctxt.doc()
88     except:
89         doc = None
90     if doc != None:
91         doc.freeDoc()
92     if ret == 0 or ctxt.wellFormed() != 0:
93         print "%s: error: Well Formedness error not detected" % (id)
94         log.write("%s: error: Well Formedness error not detected\n" % (id))
95         return 0
96     return 1
97
98 def testNotWfEnt(filename, id):
99     global error_nr
100     global error_msg
101     global log
102
103     error_nr = 0
104     error_msg = ''
105
106     ctxt = libxml2.createFileParserCtxt(filename)
107     if ctxt == None:
108         return -1
109     ctxt.replaceEntities(1)
110     ret = ctxt.parseDocument()
111
112     try:
113         doc = ctxt.doc()
114     except:
115         doc = None
116     if doc != None:
117         doc.freeDoc()
118     if ret == 0 or ctxt.wellFormed() != 0:
119         print "%s: error: Well Formedness error not detected" % (id)
120         log.write("%s: error: Well Formedness error not detected\n" % (id))
121         return 0
122     return 1
123
124 def testNotWfEntDtd(filename, id):
125     global error_nr
126     global error_msg
127     global log
128
129     error_nr = 0
130     error_msg = ''
131
132     ctxt = libxml2.createFileParserCtxt(filename)
133     if ctxt == None:
134         return -1
135     ctxt.replaceEntities(1)
136     ctxt.loadSubset(1)
137     ret = ctxt.parseDocument()
138
139     try:
140         doc = ctxt.doc()
141     except:
142         doc = None
143     if doc != None:
144         doc.freeDoc()
145     if ret == 0 or ctxt.wellFormed() != 0:
146         print "%s: error: Well Formedness error not detected" % (id)
147         log.write("%s: error: Well Formedness error not detected\n" % (id))
148         return 0
149     return 1
150
151 def testWfEntDtd(filename, id):
152     global error_nr
153     global error_msg
154     global log
155
156     error_nr = 0
157     error_msg = ''
158
159     ctxt = libxml2.createFileParserCtxt(filename)
160     if ctxt == None:
161         return -1
162     ctxt.replaceEntities(1)
163     ctxt.loadSubset(1)
164     ret = ctxt.parseDocument()
165
166     try:
167         doc = ctxt.doc()
168     except:
169         doc = None
170     if doc == None or ret != 0 or ctxt.wellFormed() == 0:
171         print "%s: error: wrongly failed to parse the document" % (id)
172         log.write("%s: error: wrongly failed to parse the document\n" % (id))
173         if doc != None:
174             doc.freeDoc()
175         return 0
176     if error_nr != 0:
177         print "%s: warning: WF document generated an error msg" % (id)
178         log.write("%s: error: WF document generated an error msg\n" % (id))
179         doc.freeDoc()
180         return 2
181     doc.freeDoc()
182     return 1
183
184 def testError(filename, id):
185     global error_nr
186     global error_msg
187     global log
188
189     error_nr = 0
190     error_msg = ''
191
192     ctxt = libxml2.createFileParserCtxt(filename)
193     if ctxt == None:
194         return -1
195     ctxt.replaceEntities(1)
196     ctxt.loadSubset(1)
197     ret = ctxt.parseDocument()
198
199     try:
200         doc = ctxt.doc()
201     except:
202         doc = None
203     if doc != None:
204         doc.freeDoc()
205     if ctxt.wellFormed() == 0:
206         print "%s: warning: failed to parse the document but accepted" % (id)
207         log.write("%s: warning: failed to parse the document but accepte\n" % (id))
208         return 2
209     if error_nr != 0:
210         print "%s: warning: WF document generated an error msg" % (id)
211         log.write("%s: error: WF document generated an error msg\n" % (id))
212         return 2
213     return 1
214
215 def testInvalid(filename, id):
216     global error_nr
217     global error_msg
218     global log
219
220     error_nr = 0
221     error_msg = ''
222
223     ctxt = libxml2.createFileParserCtxt(filename)
224     if ctxt == None:
225         return -1
226     ctxt.validate(1)
227     ret = ctxt.parseDocument()
228
229     try:
230         doc = ctxt.doc()
231     except:
232         doc = None
233     valid = ctxt.isValid()
234     if doc == None:
235         print "%s: error: wrongly failed to parse the document" % (id)
236         log.write("%s: error: wrongly failed to parse the document\n" % (id))
237         return 0
238     if valid == 1:
239         print "%s: error: Validity error not detected" % (id)
240         log.write("%s: error: Validity error not detected\n" % (id))
241         doc.freeDoc()
242         return 0
243     if error_nr == 0:
244         print "%s: warning: Validity error not reported" % (id)
245         log.write("%s: warning: Validity error not reported\n" % (id))
246         doc.freeDoc()
247         return 2
248         
249     doc.freeDoc()
250     return 1
251
252 def testValid(filename, id):
253     global error_nr
254     global error_msg
255
256     error_nr = 0
257     error_msg = ''
258
259     ctxt = libxml2.createFileParserCtxt(filename)
260     if ctxt == None:
261         return -1
262     ctxt.validate(1)
263     ctxt.parseDocument()
264
265     try:
266         doc = ctxt.doc()
267     except:
268         doc = None
269     valid = ctxt.isValid()
270     if doc == None:
271         print "%s: error: wrongly failed to parse the document" % (id)
272         log.write("%s: error: wrongly failed to parse the document\n" % (id))
273         return 0
274     if valid != 1:
275         print "%s: error: Validity check failed" % (id)
276         log.write("%s: error: Validity check failed\n" % (id))
277         doc.freeDoc()
278         return 0
279     if error_nr != 0 or valid != 1:
280         print "%s: warning: valid document reported an error" % (id)
281         log.write("%s: warning: valid document reported an error\n" % (id))
282         doc.freeDoc()
283         return 2
284     doc.freeDoc()
285     return 1
286
287 def runTest(test):
288     global test_nr
289     global test_succeed
290     global test_failed
291     global error_msg
292     global log
293
294     uri = test.prop('URI')
295     id = test.prop('ID')
296     if uri == None:
297         print "Test without ID:", uri
298         return -1
299     if id == None:
300         print "Test without URI:", id
301         return -1
302     base = test.getBase(None)
303     URI = libxml2.buildURI(uri, base)
304     if os.access(URI, os.R_OK) == 0:
305         print "Test %s missing: base %s uri %s" % (URI, base, uri)
306         return -1
307     type = test.prop('TYPE')
308     if type == None:
309         print "Test %s missing TYPE" % (id)
310         return -1
311
312     extra = None
313     if type == "invalid":
314         res = testInvalid(URI, id)
315     elif type == "valid":
316         res = testValid(URI, id)
317     elif type == "not-wf":
318         extra =  test.prop('ENTITIES')
319         # print URI
320         #if extra == None:
321         #    res = testNotWfEntDtd(URI, id)
322         #elif extra == 'none':
323         #    res = testNotWf(URI, id)
324         #elif extra == 'general':
325         #    res = testNotWfEnt(URI, id)
326         #elif extra == 'both' or extra == 'parameter':
327         res = testNotWfEntDtd(URI, id)
328         #else:
329         #    print "Unknow value %s for an ENTITIES test value" % (extra)
330         #    return -1
331     elif type == "error":
332         res = testError(URI, id)
333     else:
334         # TODO skipped for now
335         return -1
336
337     test_nr = test_nr + 1
338     if res > 0:
339         test_succeed = test_succeed + 1
340     elif res == 0:
341         test_failed = test_failed + 1
342     elif res < 0:
343         test_error = test_error + 1
344
345     # Log the ontext
346     if res != 1:
347         log.write("   File: %s\n" % (URI))
348         content = string.strip(test.content)
349         while content[-1] == '\n':
350             content = content[0:-1]
351         if extra != None:
352             log.write("   %s:%s:%s\n" % (type, extra, content))
353         else:
354             log.write("   %s:%s\n\n" % (type, content))
355         if error_msg != '':
356             log.write("   ----\n%s   ----\n" % (error_msg))
357             error_msg = ''
358         log.write("\n")
359
360     return 0
361             
362
363 def runTestCases(case):
364     profile = case.prop('PROFILE')
365     if profile != None and \
366        string.find(profile, "IBM XML Conformance Test Suite - Production") < 0:
367         print "=>", profile
368     test = case.children
369     while test != None:
370         if test.name == 'TEST':
371             runTest(test)
372         if test.name == 'TESTCASES':
373             runTestCases(test)
374         test = test.next
375         
376 conf = loadNoentDoc(CONF)
377 if conf == None:
378     print "Unable to load %s" % CONF
379     sys.exit(1)
380
381 testsuite = conf.getRootElement()
382 if testsuite.name != 'TESTSUITE':
383     print "Expecting TESTSUITE root element: aborting"
384     sys.exit(1)
385
386 profile = testsuite.prop('PROFILE')
387 if profile != None:
388     print profile
389
390 start = time.time()
391
392 case = testsuite.children
393 while case != None:
394     if case.name == 'TESTCASES':
395         old_test_nr = test_nr
396         old_test_succeed = test_succeed
397         old_test_failed = test_failed
398         old_test_error = test_error
399         runTestCases(case)
400         print "   Ran %d tests: %d suceeded, %d failed and %d generated an error" % (
401                test_nr - old_test_nr, test_succeed - old_test_succeed,
402                test_failed - old_test_failed, test_error - old_test_error)
403     case = case.next
404
405 conf.freeDoc()
406 log.close()
407
408 print "Ran %d tests: %d suceeded, %d failed and %d generated an error in %.2f s." % (
409       test_nr, test_succeed, test_failed, test_error, time.time() - start)