Documentation updates.
[external/ragel.git] / ChangeLog
1 For Next Release
2 ================
3  -The p varialbe is now set up at the beginning of a scanner action, rather
4   than at the end. This leaves scanner actions free to manipulate p and
5   removes the need for the special holdTE and execTE (TE for tokend) versions
6   of hold and exec. It also removes the need to set p = tokend-1 immediately
7   before any control flow. We loose the ability to determine where in the
8   input stream a scanner action is executed, however this information is of
9   little use because it is primarily an artifact of the scanner implementation
10   (sometimes the last char, other times later on). The gains of of this change
11   are consistency and simplicity.
12
13 Ragel 5.21 - May 9, 2007
14 ========================
15  -Fixed an inconsistency in the value of p following an error. In the C
16   directly executable code (rlgen-cd -G2) p is left at the character where
17   the error occurred, which is correct. In all other code generators it was
18   left at the following character. This was fixed. Now in all code generators
19   p is left at the character where the error occurred.
20  -Bug fix: when fhold was used in scanner pattern actions which get executed
21   on the last character of the pattern (pattern matches which do not require
22   any lookahead), fhold was modifying p instead of tokend. This was fixed and
23   the patact.rl test was modified to cover the case.
24  -Fixed typos in the guide, improved the state action embedding operator
25   section and added subsections on the variable, import, and export
26   statements.
27  -Implemented a better solution than the pri hack for resolving the '-'
28   ambiguity: force a shortest match of term.
29  -Fixed bugs in the binary searching for condition keys in both the Ruby and
30   Java code generation. 
31  -Can now embed the negative sense of a condition. Added a language-
32   independent test case for this feature and the necessary transformation
33   support.
34  -Added new condition embedding syntax:
35     expr inwhen cond   - The transitions into the machine (starting transitions).
36     expr outwhen cond  - The pending transitions out of the machine.
37  -The argument to the variable statement which affects the name of the current
38   state variable was changed from "curstate" to "cs" (the default name used
39   for the current state)
40  -Implemented the other variables names in the variable statement. Now all
41   variables (p, pe, cs, top, stack, act, tokstart, tokend) can be renamed.
42  -Parse errors in the intermediate XML file now cause the backend to exit
43   immediately rather then forge on. The recovery infrastructure isn't there
44   and segfaults are likely.
45  -When no input is given to the backend program, it should not print an error
46   message, it should just return a non-zero exit status. The assumption is
47   that the frontend printed an error.
48  -The version number is now included in the intermediate file. An error is
49   emitted if there is a mismatch.
50  -The alphabet type is now communicated from the frontend to the backend using
51   a one-word internal name instead of an array offset.
52  -The Ruby host language types had been just copied from Java. Reduced them to
53   two basic types: char and int, both signed with the usual C sizes.
54
55 Ragel 5.20 - Apr 7, 2007
56 ========================
57  -The cs variable is now always initialized, unless the "nocs" option is given
58   to the write init command. If there is no main machine, cs is initialized to
59   the entry point defined by the last machine instantiation.
60  -A number of fixes were made to the Ruby code generator.
61  -The frontend now scans ruby comments and regular expressions.
62  -A transformation for Ruby was added to the language-independent test suite.
63   The Ruby code generator passes on all the language-independent tests.
64  -A new Ruby test and two language-independent tests were added.
65  -Some portability fixes were made (Patches from Josef Goettgens and Aaron
66   Campbell).
67  -Fixed a make dependency bug which caused a problem for parallel building
68   (Patch from Jeremy Hinegardner).
69
70 Ragel 5.19 - Mar 14, 2007
71 =========================
72  -Added an import statement to ragel. This statement takes a literal string as
73   an argument, interprets it as a file name, then scrapes the file for
74   sequences of tokens that match the following forms. Tokens inside ragel
75   sections are ignored. An example is in test/import1.rl
76     name = number
77     name = lit_string
78     "define" name number
79     "define" name lit_string
80  -Added an export mechanism which writes defines for single character machines
81   that have been tagged with the export keyword in their definition. Defines
82   are used for C, ints for D, Java and Ruby. Examples of the export feature
83   are in test/export*.rl.
84  -All machine instantiations are now always generated, even if they are not
85   referenced. In the backend, entry points for all instantiations are written
86   out alongside start, error and first final states.
87  -If the main machine is not present then do not emit an error. Generate the
88   machine without a start state and do not initialize cs in the write init
89   code.
90  -Added an option -l to rlgen-cd which inhibits the writing of #line
91   directives.
92  -Added a new syntax for verbose embeddings. This adds parentheses: 
93       $from(action_name);
94   Verbose embeddings without parentheses can make code difficult to read
95   because they force a space in the middle of an action embedding. There is a
96   tendency to associtate spaces with concatenation. Without syntax
97   highlighting to make it clear that the embedding type is a keyword, the
98   problem is especially bad. The danger is that a verbose embedding could be
99   read as an embedding of the keyword representing the empbedding type. With
100   parentheses, verbose embeddings read much more clearly.
101  -Conditions now have a forced order when more than one is executed on a
102   single character. Previously ordering relied on pointers, which caused
103   results to vary by compiler. Ordering is now done using conditon action
104   declaration order. This fixes the failure of cond4.rl which occured with
105   g++ 4.1 and other compiler versions.
106  -In the port from flex to ragel, the name separator :: in Ragel code was
107   lost. Added it back.
108  -In the examples directory switched from rlcodegen to rlgen-cd. Silenced a
109   warning in statechart.rl.
110  -In the root makefile the distclean target was fixed. It was calling clean in
111   the subdirs. In docs, the clean target was not deleting the new manpages for
112   the rlgen-* programs. Fixed.
113  -Portability and other fixes from Josef Goettgens were applied.
114  -The @datadir@ and @mandir@ variables are made use of in doc/Makefile.in for
115   specifying where documentation should be installed. Patch from Marcus
116   Rueckert. 
117
118 Ragel 5.18 - Feb 13, 2007
119 =========================
120  -There is now a 100% correspondence between state id numbers in the
121   intermediate XML file, Graphviz dot files and generated code. This was
122   achieved by moving code which determines if the error state is necessary
123   into the frontend, and then assigning state numbers before writing out the
124   intermediate file.
125  -Backened class structure was reorganized to make it easier to add new code
126   generators without having to also modify the existing code generators.
127  -The C and D code generation executable was changed to rlgen-cd.
128  -The Java code generation was split out into it's own exectuable (rlgen-java)
129   to allow it to freely diverge from the C/D-based code generation.
130  -The graphviz dot file generation was also split out to it's own executable
131   (rlgen-dot).
132  -The Ruby code generation patch from Victor Hugo Borja was added. This is
133   highly experimental code and is not yet completely functional. It is in the
134   executable rlgen-ruby.
135  -The problem with large state machine machines in Java was fixed. This
136   problem was discovered by Colin Fleming, who also contributed a patch.
137   Rather than specify arrays as comma-separated lists of literals, array
138   initialization is now done in a static function. This is the approach used
139   by the Java compiler. Unlike the compiler Ragel is careful split large
140   initilization functions.
141  -The manual was expanded and reorganized somewhat.
142  -Eliminated per-example directories in examples/.
143  -Made some fixes to the pullscan.rl example.
144  -In the frontend CR characters are now treated as whitespace.
145  -Updated to the latest aapl. This completely eliminates the shallowCopy
146   function. With that, a definitive memory leak is fixed.
147  -Control codes with escape sequences are now printable characters (-p
148   option). Also, the space character is now printed as SP.
149  -Fixed the null dereference and consequential segfault which occurred when
150   trying to create empty machines with [] and // and /a[]b/. 
151  -Fixed the segfault which occured when a machine reference failed.
152  -Discontinuing ragel.spec. It is more appropriate for this to be written by
153   package maintenance developers.
154
155 Ragel 5.17 - Jan 28, 2007
156 =========================
157  -The scanners and parsers in both the frontend and backend programs were
158   completely rewritten using Ragel and Kelbt.
159  -The '%when condition' syntax was functioning like '$when condition'. This
160   was fixed.
161  -In the Vim syntax file fixes to the matching of embedding operators were
162   made. Also, improvements to the sync patterns were made.
163  -Added pullscan.rl to the examples directory. It is an example of doing
164   pull-based scanning. Also, xmlscan.rl in rlcodegen is a pull scanner.
165  -The introduction chapter of the manual was improved. The manually-drawn
166   figures for the examples were replaced with graphviz-drawn figures.
167  
168 Ragel 5.16 - Nov 20, 2006
169 =========================
170  -Policy change: the fhold and fexec directives did not function correctly in
171   scanner pattern actions. In this context manipulations of p may be lost or
172   made invalid. In the previous version of Ragel they were banned because of
173   this. Instead of banning these directives they have been fixed. The fexec
174   and fhold directives now manipulate tokend, which is now always used to
175   update p when the action terminates.
176
177 Ragel 5.15 - Oct 31, 2006
178 =========================
179  -A language independent test harness was introduced. Test cases can be
180   written using a custom mini-language in the embedded actions. This
181   mini-language is then translated to C, D and Java when generating the
182   language-specific test cases.
183  -Several existing tests have been ported to the language-independent format
184   and a number of new language-independent test cases have been added.
185  -The state-based embedding operators which access states that are not the
186   start state and are not final (the 'middle' states) have changed. They
187   were:
188     <@/    eof action into middle states
189     <@!    error action into middle states
190     <@^    local error action into middle states
191     <@~    to-state action into middle states
192     <@*    from-state action into middle states
193   They are now:
194     <>/    eof action into middle states
195     <>!    error action into middle states
196     <>^    local error action into middle states
197     <>~    to-state action into middle states
198     <>*    from-state action into middle states
199  -The verbose form of embeddings using the <- operator have been removed.
200   This syntax was difficult to remember.
201  -A new verbose form of state-based embedding operators have been added.
202   These are like the symbol versions, except they replace the symbols:
203     /  !  ^  ~  *
204   with literal keywords:
205     eof err lerr to from
206  -The following words have been promoted to keywords:
207     when eof err lerr to from
208  -The write statment now gets its own lexical scope in the scanner to ensure
209   that commands are passed through as is (not affected by keywords).
210  -Bug fix: in the code generation of fret in scanner actions the adjustment to
211   p that is needed in some cases (dependent on content of patterns) was not
212   happening.
213  -The fhold directive, which decrements p, cannot be permitted in the pattern
214   action of a scanner item because it will not behave consistently. At the end
215   of a pattern action p could be decremented, set to a new value or left
216   alone. This depends on the contents of the scanner's patterns. The user
217   cannot be expected to predict what will happen to p.
218  -Conditions in D code require a cast to the widec type when computing widec.
219  -Like Java, D code also needs if (true) branches for control flow in actions
220   in order to fool the unreachable code detector. This is now abstracted in
221   all code generators using the CTRL_FLOW() function.
222  -The NULL_ITEM value in java code should be -1. This is needed for
223   maintaining tokstart.
224
225 Ragel 5.14 - Oct 1, 2006
226 ========================
227  -Fixed the check for use of fcall in actions embedded within longest match
228   items. It was emitting an error if an item's longest-match action had an
229   fcall, which is allowed. This bug was introduced while fixing a segfault in
230   version 5.8.
231  -A new minimization option was added: MinimizeMostOps (-l). This option
232   minimizes at every operation except on chains of expressions and chains of
233   terms (eg, union and concat). On these chains it minimizes only at the last
234   operation. This makes test cases with many states compile faster, without
235   killing the performance on grammars like strings2.rl.
236  -The -l minimiziation option was made the default.
237  -Fixes to Java code: Use of the fc value did not work, now fixed. Static data
238   is now declared with the final keyword. Patch from Colin Fleming. Conditions
239   now work when generating Java code.
240  -The option -p was added to rlcodegen which causes printable characters to be
241   printed in GraphViz output. Patch from Colin Fleming.
242  -The "element" keyword no longer exists, removed from vim syntax file.
243   Updated keyword highlighting.
244  -The host language selection is now made in the frontend.
245  -Native host language types are now used when specifying the alphtype.
246   Previously all languages used the set defined by C, and these were mapped to
247   the appropriate type in the backend.
248
249 Ragel 5.13 - Sep 7, 2006
250 ========================
251  -Fixed a careless error which broke Java code generation.
252
253 Ragel 5.12 - Sep 7, 2006
254 ========================
255  -The -o flag did not work in combination with -V. This was fixed.
256  -The split code generation format uses only the required number of digits
257   when writing out the number in the file name of each part.
258  -The -T0, -F0 and -G0 codegens should write out the action list iteration
259   variables only when there are regular, to state or from state actions. The
260   code gens should not use anyActions().
261  -If two states have the same EOF actions, they are written out in the finish
262   routine as one case.
263  -The split and in-place goto formats would sometimes generate _out when it is
264   not needed. This was fixed.
265  -Improved the basic partitioning in the split code gen. The last partition
266   would sometimes be empty. This was fixed.
267  -Use of 'fcall *' was not causing top to be initialized. Fixed.
268  -Implemented a Java backend, specified with -J. Only the table-based format
269   is supported.
270  -Implemented range compression in the frontend. This has no effect on the
271   generated code, however it reduces the work of the backend and any programs
272   that read the intermediate format.
273
274 Ragel 5.11 - Aug 10, 2006
275 =========================
276  -Added a variable to the configure.in script which allows the building of
277   the parsers to be turned off (BUILD_PARSERS). Parser building is off by
278   default for released versions. 
279  -Removed configure tests for bison defines header file. Use --defines=file
280   instead. 
281  -Configure script doesn't test for bison, flex and gperf when building of the
282   parsers is turned off.
283  -Removed check for YYLTYPE structure from configure script. Since shipped
284   code will not build parsers by default, we don't need to be as accomodating
285   of other versions of bison. 
286  -Added a missing include that showed up with g++ 2.95.3.
287  -Failed configure test for Objective-C compiler is now silent.
288
289 Ragel 5.10 - Jul 31, 2006
290 =========================
291  -Moved the check for error state higher in the table-based processing loop.
292  -Replaced naive implementations of condition searching with proper ones. In
293   the table-based formats the searching is also table-based. In the directly
294   executed formats the searching is also directly executable.
295  -The minimization process was made aware of conditions.
296  -A problem with the condition implementation was fixed. Previously we were
297   taking pointers to transitions and then using them after a call to
298   outTransCopy, which was a bad idea because they may be changed by the call.
299  -Added test mailbox3.rl which is based on mailbox2.rl but includes conditions
300   for restricting header and message body lengths.  
301  -Eliminated the initial one-character backup of p just before resuming
302   execution.
303  -Added the -s option to the frontend for printing statistics. This currently
304   includes just the number of states. 
305  -Sped up the generation of the in-place goto-driven (-G2) code style.
306  -Implemented a split version of in-place goto-driven code style. This code
307   generation style is suitable for producing fast implementations of very
308   large machines. Partitioning is currently naive. In the future a
309   high-quality partitioning program will be employed. The flag for accessing
310   this feature is -Pn, where n is the number of partitions.
311  -Converted mailbox1.rl, strings2.rl and cppscan1.rl tests to support the
312   split code generation.
313  -Fixes and updates were made to the runtests script: added -c for compiling
314   only, changed the -me option to -e, and added support for testing the split
315   code style.
316  
317 Ragel 5.9 - Jul 19, 2006
318 ========================
319  -Fixed a bug in the include system which caused malformed output from the
320   frontend when the include was made from a multi-line machine spec and the
321   included file ended in a single line spec (or vice versa).
322  -Static data is now const.
323  -Actions which referenced states but were not embedded caused the frontend to
324   segfault, now fixed.
325  -Manual now built with pdflatex.
326  -The manual was reorganized and expanded. Chapter sequence is now:
327   Introduction, Constructing Machines, Embedding Actions, Controlling
328   Nondeterminism and Interfacing to the Host program.
329
330 Ragel 5.8 - Jun 17, 2006
331 ========================
332  -The internal representation of the alphabet type has been encapsulated
333   into a class and all operations on it have been defined as C++ operators.
334  -The condition implementation now supports range transitions. This allows
335   conditions to be embedded into arbitrary machines. Conditions are still
336   exprimental.
337  -More condition embedding operators were added
338    1. Isolate the start state and embed a condition into all transitions
339       leaving it:   
340       >when cond   OR   >?cond
341    2. Embed a condition into all transitions:
342       when cond    OR   $when cond   OR   $?cond
343    3. Embed a condition into pending out transitions:
344       %when cond   OR   %?cond
345  -Improvements were made to the determinization process to support pending out
346   conditions.
347  -The Vim sytax file was fixed so that :> doesn't cause the match of a label.
348  -The test suite was converted to a single-file format which uses less disk
349   space than the old directory-per-test format.
350  
351 Ragel 5.7 - May 14, 2006
352 ========================
353  -Conditions will not be embedded like actions because they involve a
354   manipulation of the state machine they are specified in. They have therefore
355   been taken out of the verbose action embedding form (using the <- compound
356   symbol). A new syntax for specifying conditions has been created: 
357   m = '\n' when {i==4};
358  -Fixed a bug which prevented state machine commands like fcurs, fcall, fret,
359   etc, from being accounted for in from-state actions and to-state actions.
360   This prevented some necessary support code from being generated.
361  -Implemented condition testing in remaining code generators.
362  -Configure script now checks for gperf, which is required for building.
363  -Added support for case-insensitive literal strings (in addition to regexes).
364   A case-insensitive string is made by appending an 'i' to the literal, as in
365   'cmd'i or "cmd"i.
366  -Fixed a bug which caused all or expressions inside of all regular
367   expressions to be case-insensitive. For example /[fo]o bar/ would make the
368   [fo] part case-insensitive even though no 'i' was given following the
369   regular expression.
370
371 Ragel 5.6 - Apr 1, 2006
372 =======================
373  -Added a left-guarded concatenation operator. This operator <: is equivalent
374   to ( expr1 $1 . expr2 >0 ). It is useful if you want to prefix a sequence
375   with a sequence of a subset of the characters it matches. For example, one
376   can consume leading whitespace before tokenizing a sequence of whitespace
377   separated words: ( ' '* <: ( ' '+ | [a-z]+ )** )
378  -Removed context embedding code, which has been dead since 5.0.
379   
380 Ragel 5.5 - Mar 28, 2006
381 ========================
382  -Implemented a case-insensitive option for regular expressions: /get/i.
383  -If no input file is given to the ragel program it reads from standard input.
384  -The label of the start state has been changed from START to IN to save on
385   required screen space.
386  -Bug fix: \0 was not working in literal strings, due to a change that reduced
387   memory usage by concatenating components of literal strings.  Token data
388   length is now passed from the scanner to the paser so that we do not need to
389   rely on null termination. 
390
391 Ragel 5.4 - Mar 12, 2006
392 ========================
393  -Eliminated the default transition from the frontend implementation. This
394   default transition was a space-saving optimization that at best could reduce
395   the number of allocated transitions by one half. Unfortunately it
396   complicated the implementation and this stood in the way of introducing
397   conditionals. The default transition may be reintroduced in the future.
398  -Added entry-guarded concatenation. This operator :>, is syntactic sugar
399   for expr1 $0 . expr >1. This operator terminates the matching of the first
400   machine when a first character of the second machine is matched. For
401   example in any* . ';' we never leave the any* machine. If we use any* :> ';'
402   then the any* machine is terminiated upon matching the semi-colon.
403  -Added finish-guarded concatenation. This operator :>>, is syntactic sugar
404   for expr1 $0 . expr @1. This operator is like entry guarded concatenation
405   except the first machine is terminated when the second machine enters a
406   final state. This is useful for delaying the guard until a full pattern is
407   matched. For example as in '/*' any* :>> '*/'.
408  -Added strong subtraction. Where regular subtraction removes from the first
409   machine any strings that are matched by the second machine, strong
410   subtraction removes any strings from the first that contain any strings of
411   the second as a substring. Strong subtraction is syntactic sugar for 
412   expr1 - ( any* expr2 any* ).
413  -Eliminated the use of priorities from the examples. Replaced with
414   subtraction, guarded concatenation and longest-match kleene star.
415  -Did some initial work on supporting conditional transitions. Far from
416   complete and very buggy. This code will only be active when conditionals are
417   used.
418
419 Ragel 5.3 - Jan 27, 2006
420 ========================
421  -Added missing semi-colons that cause the build to fail when using older
422   versions of Bison.
423  -Fix for D code: if the contents of an fexec is a single word, the generated
424   code will get interpreted as a C-style cast. Adding two brackets prevents
425   this. Can now turn eliminate the "access this.;" in cppscan5 that was used to
426   get around this problem.
427  -Improved some of the tag names in the intermediate format.
428  -Added unsigned long to the list of supported alphabet types.
429  -Added ids of actions and action lists to XML intermediate format. Makes it
430   more human readable.
431  -Updated to latest Aapl package.
432
433 Ragel 5.2 - Jan 6, 2006
434 ========================
435  -Ragel emits an error if the target of fentry, fcall, fgoto or fnext is inside
436   a longest match operator, or if an action embedding in a longest match
437   machine uses fcall. The fcall command can still be used in pattern actions.
438  -Made improvements to the clang, rlscan, awkemu and cppscan examples.
439  -Some fixes to generated label names: they should all be prefixed with _.
440  -A fix to the Vim syntax highlighting script was made
441  -Many fixes and updates to the documentation. All important features and
442   concepts are now documented. A second chapter describing Ragel's use
443   was added.
444  
445 Ragel 5.1 - Dec 22, 2005
446 ========================
447  -Fixes to the matching of section delimiters in Vim syntax file.
448  -If there is a longest match machine, the tokend var is now initialized by
449   write init. This is not necessary for correct functionality, however
450   prevents compiler warnings.
451  -The rlscan example was ported to the longest match operator and changed to
452   emit XML data.
453  -Fix to the error handling in the frontend: if there are errors in the lookup
454   of names at machine generation time then do not emit anything.
455  -If not compiling the full machine in the frontend (by using -M), avoid
456   errors and segfaults caused by names that are not part of the compiled
457   machine.
458  -Longest match bug fix: need to init tokstart when returing from fsm calls
459   that are inside longest match actions.
460  -In Graphviz drawing, the arrow into the start state is not a real
461   transition, do not draw to-state actions on the label.
462  -A bug fix to the handling of non-tag data within an XML tag was made.
463  -Backend exit value fixed: since the parser now accepts nothing so as to
464   avoid a redundant parse error when the frontend dies, we must force an
465   error. The backend should now be properly reporting errors.
466  -The longest match machine now has it's start state set final. An LM machine
467   is in a final state when it has not matched anything, when it has matched
468   and accepted a token and is ready for another, and when it has matched a
469   token but is waiting for some lookahead before determining what to do about
470   it (similar to kleene star).
471  -Element statement removed from some tests.
472  -Entry point names are propagated to the backend and used to label the entry
473   point arrows in Graphviz output.
474
475 Ragel 5.0 - Dec 17, 2005
476 ========================
477  (additional details in V5 release notes)
478  -Ragel has been split into two executables: A frontend which compiles
479   machines and emits them in an XML format, and a backend which generates code
480   or a Graphviz dot file from the XML input. The purpose of this split is to
481   allow Ragel to interface with other tools by means of the XML intermediate
482   format and to reduce complexity by strictly separating the previously
483   entangled phases. The intermediate format will provide a better platform
484   inspecting compiled machines and for extending Ragel to support other host
485   languages.
486  -The host language interface has been reduced significantly. Ragel no longer
487   expects the machine to be implemented as a structure or class and does not
488   generate functions corresponding to initialization, execution and EOF.
489   Instead, Ragel just generates the code of these components, allowing all of
490   them to be placed in a single function if desired. The user specifies a
491   machine in the usual manner, then indicates at which place in the program
492   text the state machine code is to be generated. This is done using the write
493   statement. It is possible to specify to Ragel how it should access the
494   variables it needs (such as the current state) using the access statement.
495  -The host language embedding delimiters have been changed. Single line
496   machines start with '%%' and end at newline. Multiline machines start with
497   '%%{' and end with '}%%'. The machine name is given with the machine
498   statement at the very beginning of the specification. This purpose of this
499   change is to make it easier separate Ragel code from the host language. This
500   will ease the addition of supported host languages.
501  -The structure and class parsing which was previously able to extract a
502   machine's name has been removed since this feature is dependent on the host
503   language and inhibits the move towards a more language-independent frontend.
504  -The init, element and interface statements have been made obsolete by the
505   new host language interface and have been removed.
506  -The fexec action statement has been changed to take only the new position to
507   move to. This statement is more useful for moving backwards and reparsing
508   input than for specifying a whole new buffer entirely and has been shifted
509   to this new use. Giving it only one argument also simplifies the parsing of
510   host code embedded in a Ragel specification. This will ease the addition of
511   supported host languages.
512  -Introduced the fbreak statement, which allows one to stop processing data
513   immediately. The machine ends up in the state that the current transition
514   was to go to. The current character is not changed.
515  -Introduced the noend option for writing the execute code. This inhibits
516   checking if we have reached pe. The machine will run until it goes into the
517   error state or fbreak is hit. This allows one to parse null-terminate
518   strings without first computing the length.
519  -The execute code now breaks out of the processing loop when it moves into
520   the error state. Previously it would run until pe was hit. Breaking out
521   makes the noend option useful when an error is encountered and allows
522   user code to determine where in the input the error occured. It also
523   eliminates needlessly iterating the input buffer.
524  -Introduced the noerror, nofinal and noprefix options for writing the machine
525   data. The first two inhibit the writing of the error state and the
526   first-final state should they not be needed. The noprefix eliminates the
527   prefixing of the data items with the machine name.
528  -Support for the D language has been added. This is specified in the backend
529   with the -D switch.
530  -Since the new host language interface has been reduced considerably, Ragel
531   no longer needs to distinguish between C-based languages. Support for C, C++
532   and Objective-C has been folded into one option in the backend: -C
533  -The code generator has been made independent of the languages that it
534   supports by pushing the language dependent apsects down into the lower
535   levels of the code generator.
536  -Many improvements to the longest match construction were made. It is no
537   longer considered experimental. A longest match machine must appear at the
538   top level of a machine instantiation. Since it does not generate a pure
539   state machine (it may need to backtrack), it cannot be used as an operand to
540   other operators.
541  -References to the current character and current state are now completely
542   banned in EOF actions.
543
544 Ragel 4.2 - Sep 16, 2005
545 ========================
546  (additional details in V4 release notes)
547  -Fixed a bug in the longest match operator. In some states it's possible that
548   we either match a token or match nothing at all. In these states we need to
549   consult the LmSwitch on error so it must be prepared to execute an error
550   handler. We therefore need to init act to this error value (which is zero).
551   We can compute if we need to do this and the code generator emits the
552   initialization only if necessary. 
553  -Changed the definition of the token end of longest match actions. It now
554   points to one past the last token. This makes computing the token length
555   easier because you don't have to add one. The longest match variables token
556   start, action identifier and token end are now properly initialized in
557   generated code. They don't need to be initialized in the user's code.
558  -Implemented to-state and from-state actions. These actions are executed on
559   transitions into the state (after the in transition's actions) and on
560   transitions out of the state (before the out transition's actions). See V4
561   release notes for more information.
562  -Since there are no longer any action embedding operators that embed both on
563   transitions and on EOF, any actions that exist in both places will be there
564   because the user has explicitly done so. Presuming this case is rare, and
565   with code duplication in the hands of the user, we therefore give the EOF
566   actions their own action switch in the finish() function. This is further
567   motivated by the fact that the best solution is to do the same for to-state
568   and from-state actions in the main loop.
569  -Longest match actions can now be specified using a named action. Since a
570   word following a longest match item conflicts with the concatenation of a
571   named machine, the => symbol must come immediately before a named action.
572  -The longest match operator permits action and machine definitions in the
573   middle of a longest match construction. These are parsed as if they came
574   before the machine definition they are contained in. Permitting action and
575   machine definitions in a longest match construction allows objects to be
576   defined closer to their use.
577  -The longest match operator can now handle longest match items with no
578   action, where previously Ragel segfaulted.
579  -Updated to Aapl post 2.12.
580  -Fixed a bug in epsilon transition name lookups. After doing a name lookup
581   the result was stored in the parse tree. This is wrong because if a machine
582   is used more than once, each time it may resolve to different targets,
583   however it will be stored in the same place. We now store name resolutions
584   in a separated data structure so that each walk of a parse tree uses the
585   name resolved during the corresponding walk in the name lookup pass.
586  -The operators used to embed context and actions into states have been
587   modified. The V4 release notes contain the full details.
588  -Added zlen builtin machine to represent the zero length machine. Eventually
589   the name "null" will be phased out in favour of zlen because it is unclear
590   whether null matches the zero length string or if it does not match any
591   string at all (as does the empty builtin).
592  -Added verbose versions of action, context and priority embedding. See the V4
593   release notes for the full details. A small example: 
594       machine <- all exec { foo(); } <- final eof act1
595  -Bugfix for machines with epsilon ops, but no join operations. I had 
596   wrongfully assumed that because epsilon ops can only increase connectivity,
597   that no states are ever merged and therefore a call to fillInStates() is not
598   necessary. In reality, epsilon transitions within one machine can induce the
599   merging of states. In the following, state 2 follows two paths on 'i':
600       main := 'h' -> i 'i h' i: 'i';
601  -Changed the license of the guide from a custom "do not propagate modified
602   versions of this document" license to the GPL.
603
604 Ragel 4.1 - Jun 26, 2005
605 ========================
606  (additional details in V4 release notes)
607  -A bug in include processing was fixed. Surrounding code in an include file
608   was being passed through to the output when it should be ignored. Includes
609   are only for including portions of another machine into he current. This
610   went unnoticed because all tested includes were wrapped in #ifndef ...
611   #endif directives and so did not affect the compilation of the file making
612   the include.
613  -Fixes were made to Vim syntax highlighting file.
614  -Duplicate actions are now removed from action lists.
615  -The character-level negation operator ^ was added. This operator produces a
616   machine that matches single characters that are not matched by the machine
617   it is applied to. This unary prefix operator has the same precedence level
618   as !.
619  -The use of + to specify the a positive literal number was discontinued.
620  -The parser now assigns the subtraction operator a higher precedence than
621   the negation of literal number.
622   
623 Ragel 4.0 - May 26, 2005
624 ========================
625  (additional details in V4 release notes)
626  -Operators now strictly embed into a machine either on a specific class of
627   characters or on EOF, but never both. This gives a cleaner association
628   between the operators and the physical state machine entitites they operate
629   on. This change is made up of several parts:
630   1. '%' operator embeds only into leaving characters.
631   2. All global and local error operators only embed on error character
632      transitions, their action will not be triggerend on EOF in non-final
633      states.
634   3. EOF action embedding operators have been added for all classes of states
635      to make up for functionality removed from other operators. These are 
636      >/ $/ @/ %/.
637   4. Start transition operator '>' no longer implicitly embeds into leaving
638      transtions when start state is final.
639  -Ragel now emits warnings about the improper use of statements and values in
640   action code that is embedded as an EOF action. Warnings are emitted for fpc,
641   fc, fexec, fbuf and fblen.
642  -Added a longest match construction operator |* machine opt-action; ... *|.
643   This is for repetition where an ability to revert to a shorter, previously
644   matched item is required. This is the same behaviour as flex and re2c. The
645   longest match operator is not a pure FSM construction, it introduces
646   transitions that implicitly hold the current character or reset execution to
647   a previous location in the input. Use of this operator requires the caller
648   of the machine to occasionally hold onto data after a call to the exectute
649   routine. Use of machines generated with this operator as the input to other
650   operators may have undefined results. See examples/cppscan for an example.
651   This is very experimental code.
652  -Action ids are only assigned to actions that are referenced in the final
653   constructed machine, preventing gaps in the action id sequence. Previously
654   an action id was assigned if the action was referenced during parsing.
655  -Machine specifications now begin with %% and are followed with an optional
656   name and either a single Ragel statement or a sequence of statements
657   enclosed in {}.
658  -Ragel no longer generates the FSM's structure or class. It is up to the user
659   to declare the structure and to give it a variable named curs of type
660   integer. If the machine uses the call stack the user must also declare a
661   array of integers named stack and an integer variable named top.
662  -In the case of Objective-C, Ragel no longer generates the interface or
663   implementation directives, allowing the user to declare additional methods.
664  -If a machine specification does not have a name then Ragel tries to find a
665   name for it by first checking if the specification is inside a struct, class
666   or interface. If it is not then it uses the name of the previous machine
667   specification. If still no name is found then this is an error.
668  -Fsm specifications now persist in memory and statements accumulate.
669  -Ragel now has an include statement for including the statements of a machine
670   spec in another file (perhaps because it is the corresponding header file).
671   The include statement can also be used to draw in the statements of another
672   fsm spec in the current file.
673  -The fstack statement is now obsolete and has been removed.
674  -A new statement, simply 'interface;', indicates that ragel should generate
675   the machine's interface. If Ragel sees the main machine it generates the
676   code sections of the machine. Previously, the header portion was generated
677   if the (now removed) struct statement was found and code was generated if
678   any machine definition was found.
679  -Fixed a bug in the resolution of fsm name references in actions. The name
680   resolution code did not recurse into inline code items with children
681   (fgoto*, fcall*, fnext*, and fexec), causing a segfault at code generation
682   time.
683  -Cleaned up the code generators. FsmCodeGen was made into a virtual base
684   class allowing for the language/output-style specific classes to inherit
685   both a language specific and style-specific base class while retaining only
686   one copy of FsmCodeGen. Language specific output can now be moved into the
687   language specific code generators, requiring less duplication of code in the
688   language/output-style specific leaf classes.
689  -Fixed bugs in fcall* implementation of IpgGoto code generation.
690  -If the element type has not been defined Ragel now uses a constant version
691   of the alphtype, not the exact alphtype. In most cases the data pointer of
692   the execute routine should be const. A non-const element type can still be
693   defined with the element statement.
694  -The fc special value now uses getkey for retrieving the current char rather
695   than *_p, which is wrong if the element type is a structure.
696  -User guide converted to TeX and updated for new 4.0 syntax and semantics.
697
698 Ragel 3.7 - Oct 31, 2004
699 ========================
700  -Bug fix: unreferenced machine instantiations causing segfault due to name
701   tree and parse tree walk becomming out of syncronization.
702  -Rewrote representation of inline code blocks using a tree data structure.
703   This allows special keywords such as fbuf to be used as the operatands of
704   other fsm commands.
705  -Documentation updates.
706  -When deciding whether or not to generate machine instantiations, search the
707   entire name tree beneath the instantiation for references, not just the
708   root.
709  -Removed stray ';' in keller2.rl
710  -Added fexec for restarting the machine with new buffer data (state stays the
711   same), fbuf for retrieving the the start of the buf, and fblen for
712   retrieving the orig buffer length.
713  -Implemented test/cppscan2 using fexec. This allows token emitting and restart
714   to stay inside the execute routine, instead of leaving and re-entering on
715   every token.
716  -Changed examples/cppscan to use fexec and thereby go much faster.
717  -Implemented flex and re2c versions of examples/cppscan. Ragel version
718   goes faster than flex version but not as fast as re2c version.
719  -Merged in Objective-C patch from Erich Ocean.
720  -Turned off syncing with stdio in C++ tests to make them go faster.
721  -Renamed C++ code generaion classes with the Cpp Prefix instead of CC to make
722   them easier to read.
723  -In the finish function emit fbuf as 0 cast to a pointer to the element type
724   so it's type is not interpreted as an integer.
725  -The number -128 underflows char alphabets on some architectures. Removed
726   uses of it in tests.
727  -Disabled the keller2 test because it causes problems on many architectures
728   due to its large size and compilation requirements.
729
730 Ragel 3.6 - Jul 10, 2004
731 ========================
732  -Many documentation updates.
733  -When resolving names, return a set of values so that a reference in an
734   action block that is embedded more than once won't report distinct entry
735   points that are actually the same.
736  -Implemented flat tables. Stores a linear array of indicies into the
737   transition array and only a low and high key value. Faster than binary
738   searching for keys but not usable for large alphabets.
739  -Fixed bug in deleting of transitions leftover from converstion from bst to
740   list implementation of transitions. Other code cleanup.
741  -In table based output calculate the cost of using an index. Don't use if
742   cheaper. 
743  -Changed fstate() value available in init and action code to to fentry() to
744   reflect the fact that the values returned are intended to be used as targets
745   in fgoto, fnext and fcall statements. The returned state is not a unique
746   state representing the label. There can be any number of states representing
747   a label.
748  -Added keller2 test, C++ scanning tests and C++ scanning example.
749  -In table based output split up transitions into targets and actions. This
750   allows actions to be omitted.
751  -Broke the components of the state array into separate arrays. Requires
752   adding some fields where they could previously be omitted, however allows
753   finer grained control over the sizes of items and an overal size reduction.
754   Also means that state numbers are not an offset into the state array but
755   instead a sequence of numbers, meaning the context array does not have any
756   wasted bits.
757  -Action lists and transition also have their types chosen to be the smallest
758   possible for accomodating the contained values.
759  -Changed curs state stored in fsm struct from _cs to curs. Keep fsm->curs ==
760   -1 while in machine. Added tests curs1 and curs2.
761  -Implemented the notion of context. Context can be embedded in states using
762   >:, $:, @: and %: operators. These embed a named context into start states,
763   all states, non-start/non-final and final states. If the context is declared
764   using a context statment
765     context name;
766   then the context can be quered for any state using fsm_name_ctx_name(state)
767   in C code and fsm_name::ctx_name(state) in C++ code. This feature makes it
768   possible to determine what "part" of the machine is currently active.
769  -Fixed crash on machine generation of graphs with no final state. If there
770   is no reference to a final state in a join operation, don't generate one. 
771  -Updated Vim sytax: added labels to inline code, added various C++ keywords.
772   Don't highlight name separations as labels. Added switch labels, improved
773   alphtype, element and getkey.
774  -Fixed line info in error reporting of bad epsilon trans. 
775  -Fixed fstate() for tab code gen.
776  -Removed references to malloc.h.
777
778 Ragel 3.5 - May 29, 2004
779 ========================
780  -When parse errors occur, the partially generated output file is deleted and
781   an non-zero exit status is returned.
782  -Updated Vim syntax file.
783  -Implemented the setting of the element type that is passed to the execute
784   routine as well as method for specifying how ragel should retrive the key
785   from the element type. This lets ragel process arbitrary structures inside
786   of which is the key that is parsed.
787       element struct Element;
788       getkey fpc->character;
789  -The current state is now implemented with an int across all machines. This
790   simplifies working with current state variables. For example this allows a
791   call stack to be implemented in user code.
792  -Implemented a method for retrieving the current state, the target state, and
793   any named states. 
794       fcurs           -retrieve the current state
795       ftargs          -retrieve the target state
796       fstate(name)    -retrieve a named state.
797  -Implemented a mechanism for jumping to and calling to a state stored in a
798   variable.
799       fgoto *<expr>;  -goto the state returned by the C/C++ expression.
800       fcall *<expr>;  -call the state returned by the C/C++ expression.
801  -Implemented a mechanism for specifying the next state without immediately
802   transfering control there (any code following statement is executed).
803       fnext label;    -set the state pointed to by label as the next state.
804       fnext *<expr>;  -set the state returned by the C/C++ expression as the
805                        next.
806  -Action references are determined from the final machine instead of during
807   the parse tree walk. Some actions can be referenced in the parse tree but not
808   show up in the final machine. Machine analysis is now done based on this new
809   computation.
810  -Named state lookup now employs a breadth-first search in the lookup and
811   allows the user to fully qualify names, making it possible to specify
812   jumps/calls into parts of the machine deep in the name hierarchy. Each part
813   of name (separated by ::) employs a breadth first search from it's starting
814   point.
815  -Name references now must always refer to a single state. Since references to
816   multiple states is not normally intended, it no longer happens
817   automatically. This frees the programmer from thinking about whether or not
818   a state reference is unique. It also avoids the added complexity of
819   determining when to merge the targets of multiple references. The effect of
820   references to multiple states can be explicitly created using the join
821   operator and epsilon transitions.
822  -M option was split into -S and -M. -S specifies the machine spec to generate
823   for graphviz output and dumping. -M specifies the machine definition or
824   instantiation.
825  -Machine function parameters are now prefixed with and underscore to
826   avoid the hiding of class members.
827
828 Ragel 3.4 - May 8, 2004
829 =======================
830  -Added the longest match kleene star operator **, which is synonymous 
831   with ( ( <machine> ) $0 %1 ) *.
832  -Epsilon operators distinguish between leaving transitions (going to an
833   another expression in a comma separated list) and non-leaving transitions.
834   Leaving actions and priorities are appropriately transferred.
835  -Relative priority of following ops changed to:
836       1. Action/Priority 
837       2. Epsilon 
838       3. Label
839   If label is done first then the isolation of the start state in > operators
840   will cause the label to point to the old start state that doesn't have the
841   new action/priority.
842  -Merged >! and >~, @! and @~, %! and %~, and $! and $~ operators to have one
843   set of global error action operators (>!, @!, %! and $!) that are invoked on
844   error by unexpected characters as well as by unexepected EOF.
845  -Added the fpc keyword for use in action code. This is a pointer to the
846   current character. *fpc == fc. If an action is invoked on EOF then fpc == 0.
847  -Added >^, @^, %^, and $^ local error operators. Global error operators (>!,
848   @!, $!, and %!) cause actions to be invoked if the final machine fails.
849   Local error actions cause actions to be invoked if if the current machine
850   fails.
851  -Changed error operators to mean embed global/local error actions in:
852      >! and !^  -the start state.
853      @! and @^  -states that are not the start state and are not final.
854      %! and %^  -final states.
855      $! and $^  -all states.
856  -Added >@! which is synonymous >! then @!
857  -Added >@^ which is synonymous >^ then @^
858  -Added @%! which is synonymous @! then %!
859  -Added @%^ which is synonymous >^ then @^
860  -FsmGraph representation of transition lists was changed from a mapping of
861   alphabet key -> transition objects using a BST to simply a list of
862   transition objects. Since the transitions are no longer divided by
863   single/range, the fast finding of transition objects by key is no longer
864   required functionality and can be eliminated. This new implementation uses
865   the same amount of memory however causes less allocations. It also make more
866   sense for supporting error transitions with actions. Previously an error
867   transition was represented by a null value in the BST.
868  -Regular expression ranges are checked to ensure that lower <= upper.
869  -Added printf-like example.
870  -Added atoi2, erract2, and gotcallret to the test suite.
871  -Improved build test to support make -jN and simplified the compiling and
872   running of tests.
873
874 Ragel 3.3 - Mar 7, 2004
875 =======================
876  -Portability bug fixes were made. Minimum and maximum integer values are
877   now taken from the system. An alignment problem on 64bit systems
878   was fixed.
879
880 Ragel 3.2 - Feb 28, 2004
881 ========================
882  -Added a Vim syntax file.
883  -Eliminated length var from generated execute code in favour of an end
884   pointer. Using length requires two variables be read and written. Using an
885   end pointer requires one variable read and written and one read. Results in
886   more optimizable code.
887  -Minimization is now on by default.
888  -States are ordered in output by depth first search.
889  -Bug in minimization fixed. States were not being distinguished based on
890   error actions. 
891  -Added null and empty builtin machines.
892  -Added EOF error action operators. These are >~, >@, $~, and %~. EOF error
893   operators embed actions to take if the EOF is seen and interpreted as an
894   error. The operators correspond to the following states:
895     -the start state
896     -any state with a transition to a final state
897     -any state with a transiion out
898     -a final state
899  -Fixed bug in generation of unreference machine vars using -M. Unreferenced
900   vars don't have a name tree built underneath when starting from
901   instantiations. Need to instead build the name tree starting at the var.
902  -Calls, returns, holds and references to fc in out action code are now
903   handled for ipgoto output.
904  -Only actions referenced by an instantiated machine expression are put into
905   the action index and written out.
906  -Added rlscan, an example that lexes Ragel input.
907
908 Ragel 3.1 - Feb 18, 2004
909 ========================
910  -Duplicates in OR literals are removed and no longer cause an assertion
911   failure.
912  -Duplicate entry points used in goto and call statements are made into
913   deterministic entry points.
914  -Base FsmGraph code moved from aapl into ragel, as an increasing amount
915   of specialization is required. Too much time was spent attempting to
916   keep it as a general purpose template.
917  -FsmGraph code de-templatized and heirarchy squashed to a single class.
918  -Single transitions taken out of FsmGraph code. In the machine construction
919   stage, transitions are now implemented only with ranges and default
920   transtions. This reduces memory consumption, simplifies code and prevents
921   covered transitions. However it requires the automated selection of single
922   transitions to keep goto-driven code lean.
923  -Machine reduction completely rewritten to be in-place. As duplicate
924   transitions and actions are found and the machine is converted to a format
925   suitable for writing as C code or as GraphViz input, the memory allocated
926   for states and transitions is reused, instead of newly allocated.
927  -New reduction code consolodates ranges, selects a default transition, and
928   selects single transitions with the goal of joining ranges that are split by
929   any number of single characters.
930  -Line directive changed from "# <num> <file>" to the more common format
931   "#line <num> <file>".
932  -Operator :! changed to @!. This should have happened in last release.
933  -Added params example.
934
935 Ragel 3.0 - Jan 22, 2004
936 ========================
937  -Ragel now parses the contents of struct statements and action code. 
938  -The keyword fc replaces the use of *p to reference the current character in
939   action code.
940  -Machine instantiations other than main are allowed.
941  -Call, jump and return statements are now available in action code. This
942   facility makes it possible to jump to an error handling machine, call a
943   sub-machine for parsing a field or to follow paths through a machine as
944   determined by arbitrary C code.
945  -Added labels to the language. Labels can be used anywhere in a machine
946   expression to define an entry point. Also references to machine definitions
947   cause the implicit creation of a label.
948  -Added epsilon transitions to the language. Epsilon operators may reference
949   labels in the current name scope resolved when join operators are evaluated
950   and at the root of the expression tree of machine assignment/instantiation.
951  -Added the comma operator, which joins machines together without drawing any
952   transitions between them. This operator is useful in combination with
953   labels, the epsilon operator and user code transitions for defining machines
954   using the named state and transition list paradigm. It is also useful for
955   invoking transitions based on some analysis of the input or on the
956   environment.
957  -Added >!, :!, $!, %! operators for specifying actions to take should the
958   machine fail. These operators embed actions to execute if the machine
959   fails in
960     -the start state
961     -any state with a transition to a final state
962     -any state with a transiion out
963     -a final state
964   The general rule is that if an action embedding operator embeds an action
965   into a set of transitions T, then the error-counterpart with a !  embeds an
966   action into the error transition taken when any transition T is a candidate,
967   but does not match the input.
968  -The finishing augmentation operator ':' has been changed to '@'. This
969   frees the ':' symbol for machine labels and avoids hacks to the parser to
970   allow the use of ':' for both labels and finishing augmentations. The best
971   hack required that label names be distinct from machine definition names as
972   in main := word : word; This restriction is not good because labels are
973   local to the machine that they are used in whereas machine names are global
974   entities. Label name choices should not be restricted by the set of names
975   that are in use for machines.
976  -Named priority syntax now requires parenthesis surrounding the name and
977   value pair. This avoids grammar ambiguities now that the ',' operator has
978   been introduced and makes it more clear that the name and value are an
979   asscociated pair.
980  -Backslashes are escaped in line directive paths.
981
982 Ragel 2.2 - Oct 6, 2003
983 =======================
984  -Added {n}, {,n}, {n,} {n,m} repetition operators.
985     <expr> {n}    -- exactly n repetitions
986     <expr> {,n}   -- zero to n repetitions
987     <expr> {n,}   -- n or more repetitions
988     <expr> {n,m}  -- n to m repetitions
989  -Bug in binary search table in Aapl fixed. Fixes crashing on machines that
990   add to action tables that are implicitly shared among transitions.
991  -Tests using obsolete minimization algorithms are no longer built and run by
992   default.
993  -Added atoi and concurrent from examples to the test suite.
994
995 Ragel 2.1 - Sep 22, 2003
996 ========================
997  -Bug in priority comparison code fixed. Segfaulted on some input with many
998   embedded priorities.
999  -Added two new examples.
1000
1001 Ragel 2.0 - Sep 7, 2003
1002 =======================
1003  -Optional (?), One or More (+) and Kleene Star (*) operators changed from
1004   prefix to postfix. Rationale is that postfix version is far more common in
1005   regular expression implementations and will be more readily understood.
1006  -All priority values attached to transitions are now accompanied by a name.
1007   Transitions no longer have default priority values of zero assigned
1008   to them. Only transitions that have different priority values assigned
1009   to the same name influence the NFA-DFA conversion. This scheme reduces
1010   side-effects of priorities.
1011  -Removed the %! statement for unsetting pending out priorities. With
1012   named priorities, it is not necessary to clear the priorities of a
1013   machine with $0 %! because non-colliding names can be used to avoid
1014   side-effects.
1015  -Removed the clear keyword, which was for removing actions from a machine.
1016   Not required functionality and it is non-intuitive to have a language
1017   feature that undoes previous definitions.
1018  -Removed the ^ modifier to repetition and concatenation operators. This
1019   undocumented feature prevented out transitions and out priorities from being
1020   transfered from final states to transitions leaving machines. Not required
1021   functionality and complicates the language unnecessarily.
1022  -Keyword 'func' changed to 'action' as a part of the phasing out of the term
1023   'function' in favour of 'action'. Rationale is that the term 'function'
1024   implies that the code is called like a C function, which is not necessarily
1025   the case. The term 'action' is far more common in state machine compiler
1026   implementations.
1027  -Added the instantiation statement, which looks like a standard variable
1028   assignment except := is used instead of =. Instantiations go into the
1029   same graph dictionary as definitions. In the the future, instantiations
1030   will be used as the target for gotos and calls in action code.
1031  -The main graph should now be explicitly instantiated. If it is not,
1032   a warning is issued.
1033  -Or literal basic machines ([] outside of regular expressions) now support
1034   negation and ranges. 
1035  -C and C++ interfaces lowercased. In the C interface an underscore now
1036   separates the fsm machine and the function name. Rationale is that lowercased
1037   library and generated routines are more common.
1038     C output:
1039       int fsm_init( struct clang *fsm );
1040       int fsm_execute( struct clang *fsm, char *data, int dlen );
1041       int fsm_finish( struct clang *fsm );
1042     C++ output:
1043       int fsm::init( );
1044       int fsm::execute( char *data, int dlen );
1045       int fsm::finish( );
1046  -Init, execute and finish all return -1 if the machine is in the error state
1047   and can never accept, 0 if the machine is in a non-accepting state that has a
1048   path to a final state and 1 if the machine is in an accepting state.
1049  -Accept routine eliminated. Determining whether or not the machine accepts is
1050   done by examining the return value of the finish routine.
1051  -In C output, fsm structure is no longer a typedef, so referencing requires
1052   the struct keyword. This is to stay in line with C language conventions.
1053  -In C++ output, constructor is no longer written by ragel. As a consequence,
1054   init routine is not called automatically. Allows constructor to be supplied
1055   by user as well as the return value of init to be examined without calling it
1056   twice.
1057  -Static start state and private structures are taken out of C++ classes.
1058
1059 Ragel 1.5.4 - Jul 14, 2003
1060 ==========================
1061  -Workaround for building with bison 1.875, which produces an
1062   optimization that doesn't build with newer version gcc.
1063
1064 Ragel 1.5.3 - Jul 10, 2003
1065 ==========================
1066  -Fixed building with versions of flex that recognize YY_NO_UNPUT.
1067  -Fixed version numbers in ragel.spec file.
1068
1069 Ragel 1.5.2 - Jul 7, 2003
1070 =========================
1071  -Transition actions and out actions displayed in the graphviz output.
1072  -Transitions on negative numbers handled in graphviz output.
1073  -Warning generated when using bison 1.875 now squashed.
1074  
1075 Ragel 1.5.1 - Jun 21, 2003
1076 ==========================
1077  -Bugs fixed: Don't delete the output objects when writing to standard out.
1078   Copy mem into parser buffer with memcpy, not strcpy. Fixes buffer mem errror.
1079  -Fixes for compiling with Sun WorkShop 6 compilers.
1080
1081 Ragel 1.5.0 - Jun 10, 2003
1082 ==========================
1083  -Line directives written to the output so that errors in the action code
1084   are properly reported in the ragel input file.
1085  -Simple graphviz dot file output format is supported. Shows states and
1086   transitions. Does not yet show actions.
1087  -Options -p and -f dropped in favour of -d output format.
1088  -Added option -M for specifying the machine to dump with -d or the graph to
1089   generate with -V.
1090  -Error recovery implemented.
1091  -Proper line and column number tracking implemented in the scanner.
1092  -All action/function code is now embedded in the main Execute routine. Avoids
1093   duplication of action code in the Finish routine and the need to call
1094   ExecFuncs which resulted in huge code bloat. Will also allow actions to
1095   modify cs when fsm goto, call and return is supported in action code.
1096  -Fsm spec can have no statements, nothing will be generated.
1097  -Bug fix: Don't accept ] as the opening of a .-. range a reg exp.
1098  -Regular expression or set ranges (ie /[0-9]/) are now handled by the parser
1099   and consequently must be well-formed. The following now generates a parser
1100   error: /[+-]/ and must be rewritten as /[+\-]/. Also fixes a bug whereby ]
1101   might be accepted as the opening of a .-. range causing /[0-9]-[0-9]/ to
1102   parse incorrectly.
1103  -\v, \f, and \r are now treated as whitespace in an fsm spec.
1104
1105 Ragel 1.4.1 - Nov 19, 2002
1106 ==========================
1107  -Compile fixes. The last release (integer alphabets) was so exciting
1108   that usual portability checks got bypassed.
1109
1110 Ragel 1.4.0 - Nov 19, 2002
1111 ==========================
1112  -Arbitrary integer alphabets are now fully supported! A new language
1113   construct:
1114   'alphtype <type>' added for specifying the type of the alphabet. Default
1115   is 'char'. Possible alphabet types are:
1116        char, unsigned char, short, unsigned short, int, unsigned int
1117  -Literal machines specified in decimal format can now be negative when the
1118   alphabet is a signed type.
1119  -Literal machines (strings, decimal and hex) have their values checked for
1120   overflow/underflow against the size of the alphabet type.
1121  -Table driven and goto driven output redesigned to support ranges. Table
1122   driven uses a binary search for locating single characters and ranges. Goto
1123   driven uses a switch statement for single characters and nested if blocks for
1124   ranges.
1125  -Switch driven output removed due to a lack of consistent advantages. Most of
1126   the time the switch driven FSM is of no use because the goto FSM makes
1127   smaller and faster code. Under certain circumstances it can produce smaller
1128   code than a goto driven fsm and be almost as fast, but some sporadic case
1129   does not warrant maintaining it.
1130  -Many warnings changed to errors.
1131  -Added option -p for printing the final fsm before minimization. This lets
1132   priorities be seen. Priorties are all reset to 0 before minimization. The
1133   exiting option -f prints the final fsm after minimization.
1134  -Fixed a bug in the clang test and example that resulted in redundant actions
1135   being executed.
1136
1137 Ragel 1.3.4 - Nov 6, 2002
1138 =========================
1139  -Fixes to Chapter 1 of the guide.
1140  -Brought back the examples and made them current.
1141  -MSVC is no longer supported for compiling windows binaries because its
1142   support for the C++ standard is frustratingly inadequate, it will cost money
1143   to upgrade if it ever gets better, and MinGW is a much better alternative.
1144  -The build system now supports the --host= option for building ragel
1145   for another system (used for cross compiling a windows binary with MinGW).
1146  -Various design changes and fixes towards the goal of arbitrary integer
1147   alphabets and the handling of larger state machines were made.
1148  -The new shared vector class is now used for action lists in transitions and
1149   states to reduce memory allocations.
1150  -An avl tree is now used for the reduction of transitions and functions of an
1151   fsm graph before making the final machine. The tree allows better scalability
1152   and performance by not requiring consecutively larger heap allocations.
1153  -Final stages in the separation of fsm graph code from action embedding and
1154   priority assignment is complete. Makes the base graph leaner and easier to reuse
1155   in other projects (like Keller).
1156
1157 Ragel 1.3.3 - Oct 22, 2002
1158 ==========================
1159  -More diagrams were added to section 1.7.1 of the user guide.
1160  -FSM Graph code was reworked to spearate the regex/nfa/minimizaion graph
1161   algorithms from the manipulation of state and transition properties.
1162  -An rpm spec file from Cris Bailiff was added. This allows an rpm for ragel
1163   to be built with the command 'rpm -ta ragel-x.x.x.tar.gz'
1164  -Fixes to the build system and corresponding doc updates in the README.
1165  -Removed autil and included the one needed source file directly in the top
1166   level ragel directory.
1167  -Fixed a bug that nullified the 20 times speedup in large compilations
1168   claimed by the last version.
1169  -Removed awk from the doc build (it was added with the last release -- though
1170   not mentioned in the changelog).
1171  -Install of man page was moved to the doc dir. The install also installs the
1172   user guide to $(PREFIX)/share/doc/ragel/
1173
1174 Ragel 1.3.2 - Oct 16, 2002
1175 ==========================
1176  -Added option -v (or --version) to show version information.
1177  -The subtract operator no longer removes transition data from the machine
1178   being subtracted. This is left up to the user for the purpose of making it
1179   possible to transfer transitions using subtract and also for speeding up the
1180   subtract routine. Note that it is possible to explicitly clear transition
1181   data before a doing a subtract.
1182  -Rather severe typo bug fixed. Bug was related to transitions with higher
1183   priorities taking precedence. A wrong ptr was being returned. It appears to
1184   have worked most of the time becuase the old ptr was deleted and the new one
1185   allocated immediatly after so the old ptr often pointed to the same space.
1186   Just luck though.
1187  -Bug in the removing of dead end paths was fixed. If the start state
1188   has in transitions then those paths were not followed when finding states to
1189   keep. Would result in non-dead end states being removed from the graph.
1190  -In lists and in ranges are no longer maintained as a bst with the key as the
1191   alphabet character and the value as a list of transitions coming in on that
1192   char. There is one list for each of inList, inRange and inDefault. Now that
1193   the required functionality of the graph is well known it is safe to remove
1194   these lists to gain in speed and footprint. They shouldn't be needed.
1195  -IsolateStartState() runs on modification of start data only if the start
1196   state is not already isolated, which is now possible with the new in list
1197   representation.
1198  -Concat, Or and Star operators now use an approximation to
1199   removeUnreachableStates that does not require a traversal of the entire
1200   graph. This combined with an 'on-the-fly' management of final bits and final
1201   state status results is a dramatic speed increase when compiling machines
1202   that use those operators heavily. The strings2 test goes 20 times faster.
1203  -Before the final minimization, after all fsm operations are complete,
1204   priority data is reset which enables better minimization in cases where
1205   priorities would otherwise separate similar states.
1206  
1207 Ragel 1.3.1 - Oct 2, 2002
1208 =========================
1209  -Range transitions are now used to implement machines made with /[a-z]/ and
1210   the .. operator as well as most of the builtin machines. The ranges are not
1211   yet reflected in the output code, they are expanded as if they came from the
1212   regular single transitions. This is one step closer to arbitrary integer
1213   output.
1214  -The builtin machine 'any' was added. It is equiv to the builtin extend,
1215   matching any characters.
1216  -The builtin machine 'cntrl' now includes newline.
1217  -The builtin machine 'space' now includes newline.
1218  -The builtin machine 'ascii' is now the range 0-127, not all characters.
1219  -A man page was written.
1220  -A proper user guide was started. Chapter 1: Specifying Ragel Programs
1221   was written. It even has some diagrams :)
1222
1223 Ragel 1.3.0 - Sep 4, 2002
1224 =========================
1225  -NULL keyword no longer used in table output.
1226  -Though not yet in use, underlying graph structure changed to support range
1227   transitions. As a result, most of the code that walks transition lists is now
1228   implemented with an iterator that hides the complexity of the transition
1229   lists and ranges. Range transitions will be used to implement /[a-z]/ style
1230   machines and machines made with the .. operator. Previously a single
1231   transition would be used for each char in the range, which is very costly.
1232   Ranges eliminate much of the space complexity and allow for the .. operator
1233   to be used with very large (integer) alphabets.
1234  -New minimization similar to Hopcroft's alg. It does not require n^2 space and
1235   runs close to O(n*log(n)) (an exact analysis of the alg is very hard). It is
1236   much better than the stable and approx minimization and obsoletes them both.
1237   An exact implementation of Hopcroft's alg is desirable but not possible
1238   because the ragel implementation does not assume a finite alphabet, which
1239   Hopcroft's requires. Ragel will support arbitrary integer alphabets which
1240   must be treated as an infinite set for implementation considerations.
1241  -New option -m using above described minimization to replace all previous
1242   minimization options. Old options sill work but are obsolete and not
1243   advertised with -h.
1244  -Bug fixed in goto style output. The error exit set the current state to 0,
1245   which is actually a valid state. If the machine was entered again it would go
1246   into the first state, very wrong. If the first state happened to be final then
1247   an immediate finish would accept when in fact it should fail.
1248  -Slightly better fsm minimization now capable due to clearing of the
1249   transition ordering numbers just prior to minimization. 
1250  
1251 Ragel 1.2.2 - May 25, 2002
1252 ==========================
1253  -Configuration option --prefix now works when installing.
1254  -cc file extension changed to cpp for better portability.
1255  -Unlink of output file upon error no longer happens, removes dependency on
1256   unlink system command.
1257  -All multiline strings removed: not standard c++.
1258  -Awk build dependency removed.
1259  -MSVC 6.0 added to the list of supported compilers (with some tweaking of
1260   bison and flex output).
1261
1262 Ragel 1.2.1 - May 13, 2002
1263 ==========================
1264  -Automatic dependencies were fixed, they were not working correctly.
1265  -Updated AUTHORS file to reflect contributors.
1266  -Code is more C++ standards compliant: compiles with g++ 3.0
1267  -Fixed bugs that only showed up in g++ 3.0
1268  -Latest (unreleased) Aapl.
1269  -Configuration script bails out if bison++ is installed. Ragel will not
1270   compile with bison++ because it is coded in c++ and bison++ automatically
1271   generates a c++ parser. Ragel uses a c-style bison parser.
1272
1273 Ragel 1.2.0 - May 3, 2002
1274 =========================
1275  -Underlying graph structure now supports default transitions. The result is
1276   that a transition does not need to be made for each char of the alphabet
1277   when making 'extend' or '/./' machines. Ragel compiles machines that
1278   use the aforementioned primitives WAY faster.
1279  -The ugly hacks needed to pick default transitions now go away due to
1280   the graph supporting default transitions directly.
1281  -If -e is given, but minimization is not turned on, print a warning.
1282  -Makefiles use automatic dependencies.
1283
1284 Ragel 1.1.0 - Apr 15, 2002
1285 ==========================
1286  -Added goto fsm: much faster than any other fsm style.
1287  -Default operator (if two machines are side by side with no operator
1288   between them) is concatenation. First showed up in 1.0.4.
1289  -The fsm machine no longer auotmatically builds the flat table for
1290   transition indicies. Instead it keeps the key,ptr pair. In tabcodegen
1291   the flat table is produced. This way very large alphabets with sparse
1292   transitions will not consume large amounts of mem. This is also in prep
1293   for fsm graph getting a default transition.
1294  -Generated code contains a statement explicitly stating that ragel fsms
1295   are NOT covered by the GPL. Technically, Ragel copies part of itself
1296   to the output to make the generic fsm execution routine (for table driven
1297   fsms only) and so the output could be considered under the GPL. But this
1298   code is very trivial and could easlily be rewritten. The actual fsm data
1299   is subject to the copyright of the source. To promote the use of Ragel,
1300   a special exception is made for the part of the output copied from Ragel:
1301   it may be used without restriction.
1302  -Much more elegant code generation scheme is employed. Code generation
1303   class members need only put the 'codegen' keyword after their 'void' type
1304   in order to be automatically registerd to handle macros of the same name.
1305   An awk script recognises this keyword and generates an appropriate driver.
1306  -Ragel gets a test suite.
1307  -Postfunc and prefunc go away because they are not supported by non
1308   loop-driven fsms (goto, switch) and present duplicate functionality. 
1309   Universal funcs can be implemented by using $ operator.
1310  -Automatic dependencies used in build system, no more make depend target.
1311  -Code generation section in docs.
1312  -Uses the latests aapl.
1313
1314 Ragel 1.0.5 - Mar 3, 2002
1315 =========================
1316  -Bugfix in SetErrorState that caused an assertion failure when compiling
1317   simple machines that did not have full transition tables (and thus did
1318   not show up on any example machines). Assertion failure did not occur
1319   when using the switch statement code as ragel does not call SetErrorState
1320   in that case.
1321  -Fixed some missing includes, now compiles on redhat.
1322  -Moved the FsmMachTrans Compare class out of FsmMachTrans. Some compilers
1323   don't deal with nested classes in templates too well.
1324  -Removed old unused BASEREF in fsmgraph and ragel now compiles using
1325   egcs-2.91.66 and presumably SUNWspro. The baseref is no longer needed
1326   because states do not support being elements in multiple lists. I would
1327   rather be able to support more compilers than have this feature.
1328  -Started a README with compilation notes. Started an AUTHORS file.
1329  -Started the user documentation. Describes basic machines and operators.
1330
1331 Ragel 1.0.4 - Mar 1, 2002
1332 =========================
1333  -Ported to the version of Aapl just after 2.2.0 release. See 
1334   http://www.ragel.ca/aapl/ for details on aapl.
1335  -Fixed a bug in the clang example: the newline machine was not stared.
1336  -Added explanations to the clang and mailbox examples. This should
1337   help people that want to learn the lanuage as the manual is far from
1338   complete.
1339
1340 Ragel 1.0.3 - Feb 2, 2002
1341 =========================
1342  -Added aapl to the ragel tree. No longer requires you to download
1343   and build aapl separately. Should avoid discouraging impatient users
1344   from compiling ragel.
1345  -Added the examples to the ragel tree.
1346  -Added configure script checks for bison and flex.
1347  -Fixed makefile so as not to die with newer versions of bison that
1348   write the header of the parser to a .hh file.
1349  -Started ChangeLog file.
1350
1351 Ragel 1.0.2 - Jan 30, 2002
1352 ==========================
1353  -Bug fix in calculating highIndex for table based code. Was using
1354   the length of out tranisition table rather than the value at the
1355   end.
1356  -If high/low index are at the limits, output a define in their place,
1357   not the high/low values themselves so as not to cause compiler warnings.
1358  -If the resulting machines don't have any indicies or functions, then
1359   omit the empty unrefereced static arrays so as not to cause compiler
1360   warnings about unused static vars.
1361  -Fixed variable sized indicies support. The header cannot have any
1362   reference to INDEX_TYPE as that info is not known at the time the header
1363   data is written. Forces us to use a void * for pointers to indicies. In
1364   the c++ versions we are forced to make much of the data non-member
1365   static data in the code portion for the same reason.
1366
1367 Ragel 1.0.1 - Jan 28, 2002
1368 ==========================
1369  -Exe name change from reglang to ragel.
1370  -Added ftabcodegen output code style which uses a table for states and
1371   transitions but uses a switch statement for the function execution.
1372  -Reformatted options in usage dump to look better.
1373  -Support escape sequences in [] sections of regular expressions.
1374
1375 Ragel 1.0 - Jan 25, 2002
1376 ========================
1377  -Initial release.