Improved the message for 5.16.
[external/ragel.git] / TODO
diff --git a/TODO b/TODO
index a4dec72..958438a 100644 (file)
--- a/TODO
+++ b/TODO
@@ -1,3 +1,64 @@
+Ragel 6.0 Features
+==================
+
+Expressions of the form: ( expr1 <: expr2 . expr3 ) sometimes don't behave as
+expected. If expr2 contains the empty string then it's possible for the machine
+to escape to expr3. This is somewhat unexpected.  The empty string does count
+as moving through the right machine so there should not be an exception for
+this case. Using the stronger implementation: ( expr1 $1 %0 . expr2 ) will
+solve the problem.
+
+Also, there is potential for nondeterminism to persist via the empty string
+with the :> and :>> operators. Should also guard against this using leaving
+priorities.
+
+fbreak should advance the current char. Depreciate fbreak and add
+    fctl_break;
+    fctl_return <expr>;
+    fctl_goto <label>;
+
+fbreak should execute the to-state actions of the target state. The semantics
+of fbreak should be identical to reaching the end of a buffer block.
+
+Introduce a new variable "eof" which is a pointer like pe. It gets set to pe
+when the input has ended. This would enable eof actions to go into the main
+loop, granting them the ability to manipulate p and cs. This would free us from
+requiring some eof character to be sent to scanners to 'flush out' the last
+token.  Instead an eof action can now execute scanner pattern actions and
+backtrack if necessary.
+
+The tokstart/tokend variable should be shortened to ts/te.
+
+================
+END 6.0 Features
+
+Minimization should remove a condition when the character allows both
+the positive and negative sense of the condition. This happens in:
+test_every_10_chars = ( ( c when test_len ) c{0,9} )**;
+In this example there is non-determinsm that is killed by the priorities, but
+since conditions are expanded before priorities are tested, many transitions
+end up with test_len || !test_len.
+
+Should be possible to include scanner definitions in another scanner.
+
+Need a "write entry name;" feature.
+
+Should be possible to embed the negative sense of a condition.
+
+Possibly bring back the old semantics of > in a new operator, or allow it to be
+defined somehow.
+
+When priorities are embedded without a name, the name of the current machine is
+used. Perhaps a unique name for each instance of the current machine should be
+used instead. This idea could work well if applied to user-defined embeddings. 
+
+User defined embeddings <-name(a1,a2,...).
+User defined operators expr1 <name> expr2.
+
+Doesn't make make sense for [] to be the lambda (zero-length) machine. This
+should be the empty set (the empty machine). But then would it be invalid in a
+regular expression?
+
 The |> guarded operator and the <| guarded operator need to be added.
 
 The fixed size stack is a problem for manual recursion of unlimited depth.
@@ -5,19 +66,10 @@ The fixed size stack is a problem for manual recursion of unlimited depth.
 An option to turn off the removal of duplicate actions might be useful for
 analyzing unintentional nondeterminism.
 
-To avoid confusion, there should be a correspondence between state numbers in
-the generated code, graphviz and the XML.
-
 Might be a good idea to add in some protection against using up all of a
 system's memory. This protection could then be removed by people when someone
 is sure they want to use a lot of memory.
 
-fbreak should advance the current char. Depreciate fbreak and add
-    fctl_break;
-    fctl_return <expr>;
-    fctl_goto <label>;
-
-It should be possible to import/export definitions.
 
 If a scanner can be optimized into a pure state machine, maybe permit it to be
 referenced as a machine definition. Alternately: inline scanners with an
@@ -46,6 +98,10 @@ A debugger would be nice. Ragel could emit a special debug version that
 prompted for debug commands that allowed the user to step through the machine
 and get details about where they are in their RL.
 
+A quick and easy alternative would be a trace code generation option. This
+would open a trace file and list all the active machines at each step of the
+input.
+
 Frontend should allow the redefinition of fsm section delimiters.
 
 Do more to obscure ragel's private variables. Just a leading underscore is not