An fnext followed by an fbreak in -G2 did not work. The fbreak was not aware
[external/ragel.git] / rlgen-cd / fsmcodegen.cpp
1 /*
2  *  Copyright 2001-2006 Adrian Thurston <thurston@cs.queensu.ca>
3  *            2004 Erich Ocean <eric.ocean@ampede.com>
4  *            2005 Alan West <alan@alanz.com>
5  */
6
7 /*  This file is part of Ragel.
8  *
9  *  Ragel is free software; you can redistribute it and/or modify
10  *  it under the terms of the GNU General Public License as published by
11  *  the Free Software Foundation; either version 2 of the License, or
12  *  (at your option) any later version.
13  * 
14  *  Ragel is distributed in the hope that it will be useful,
15  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
16  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  *  GNU General Public License for more details.
18  * 
19  *  You should have received a copy of the GNU General Public License
20  *  along with Ragel; if not, write to the Free Software
21  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA 
22  */
23
24 #include "rlgen-cd.h"
25 #include "fsmcodegen.h"
26 #include "redfsm.h"
27 #include "gendata.h"
28 #include <sstream>
29 #include <string>
30 #include <assert.h>
31
32
33 using std::ostream;
34 using std::ostringstream;
35 using std::string;
36 using std::cerr;
37 using std::endl;
38
39 void lineDirective( ostream &out, char *fileName, int line )
40 {
41         if ( noLineDirectives )
42                 out << "/* ";
43
44         /* Write the preprocessor line info for to the input file. */
45         out << "#line " << line  << " \"";
46         for ( char *pc = fileName; *pc != 0; pc++ ) {
47                 if ( *pc == '\\' )
48                         out << "\\\\";
49                 else
50                         out << *pc;
51         }
52         out << '"';
53
54         if ( noLineDirectives )
55                 out << " */";
56
57         out << '\n';
58 }
59
60 void genLineDirective( ostream &out )
61 {
62         std::streambuf *sbuf = out.rdbuf();
63         output_filter *filter = static_cast<output_filter*>(sbuf);
64         lineDirective( out, filter->fileName, filter->line + 1 );
65 }
66
67
68 /* Init code gen with in parameters. */
69 FsmCodeGen::FsmCodeGen( ostream &out )
70 :
71         CodeGenData(out)
72 {
73 }
74
75 unsigned int FsmCodeGen::arrayTypeSize( unsigned long maxVal )
76 {
77         long long maxValLL = (long long) maxVal;
78         HostType *arrayType = keyOps->typeSubsumes( maxValLL );
79         assert( arrayType != 0 );
80         return arrayType->size;
81 }
82
83 string FsmCodeGen::ARRAY_TYPE( unsigned long maxVal )
84 {
85         long long maxValLL = (long long) maxVal;
86         HostType *arrayType = keyOps->typeSubsumes( maxValLL );
87         assert( arrayType != 0 );
88
89         string ret = arrayType->data1;
90         if ( arrayType->data2 != 0 ) {
91                 ret += " ";
92                 ret += arrayType->data2;
93         }
94         return ret;
95 }
96
97
98 /* Write out the fsm name. */
99 string FsmCodeGen::FSM_NAME()
100 {
101         return fsmName;
102 }
103
104 /* Emit the offset of the start state as a decimal integer. */
105 string FsmCodeGen::START_STATE_ID()
106 {
107         ostringstream ret;
108         ret << redFsm->startState->id;
109         return ret.str();
110 };
111
112 /* Write out the array of actions. */
113 std::ostream &FsmCodeGen::ACTIONS_ARRAY()
114 {
115         out << "\t0, ";
116         int totalActions = 1;
117         for ( ActionTableMap::Iter act = redFsm->actionMap; act.lte(); act++ ) {
118                 /* Write out the length, which will never be the last character. */
119                 out << act->key.length() << ", ";
120                 /* Put in a line break every 8 */
121                 if ( totalActions++ % 8 == 7 )
122                         out << "\n\t";
123
124                 for ( ActionTable::Iter item = act->key; item.lte(); item++ ) {
125                         out << item->value->actionId;
126                         if ( ! (act.last() && item.last()) )
127                                 out << ", ";
128
129                         /* Put in a line break every 8 */
130                         if ( totalActions++ % 8 == 7 )
131                                 out << "\n\t";
132                 }
133         }
134         out << "\n";
135         return out;
136 }
137
138
139 string FsmCodeGen::ACCESS()
140 {
141         ostringstream ret;
142         if ( accessExpr != 0 )
143                 INLINE_LIST( ret, accessExpr, 0, false, false );
144         return ret.str();
145 }
146
147
148 string FsmCodeGen::P()
149
150         ostringstream ret;
151         if ( pExpr == 0 )
152                 ret << "p";
153         else {
154                 ret << "(";
155                 INLINE_LIST( ret, pExpr, 0, false, false );
156                 ret << ")";
157         }
158         return ret.str();
159 }
160
161 string FsmCodeGen::PE()
162 {
163         ostringstream ret;
164         if ( peExpr == 0 )
165                 ret << "pe";
166         else {
167                 ret << "(";
168                 INLINE_LIST( ret, peExpr, 0, false, false );
169                 ret << ")";
170         }
171         return ret.str();
172 }
173
174 string FsmCodeGen::EOFV()
175 {
176         ostringstream ret;
177         if ( eofExpr == 0 )
178                 ret << "eof";
179         else {
180                 ret << "(";
181                 INLINE_LIST( ret, eofExpr, 0, false, false );
182                 ret << ")";
183         }
184         return ret.str();
185 }
186
187 string FsmCodeGen::CS()
188 {
189         ostringstream ret;
190         if ( csExpr == 0 )
191                 ret << ACCESS() << "cs";
192         else {
193                 /* Emit the user supplied method of retrieving the key. */
194                 ret << "(";
195                 INLINE_LIST( ret, csExpr, 0, false, false );
196                 ret << ")";
197         }
198         return ret.str();
199 }
200
201 string FsmCodeGen::TOP()
202 {
203         ostringstream ret;
204         if ( topExpr == 0 )
205                 ret << ACCESS() + "top";
206         else {
207                 ret << "(";
208                 INLINE_LIST( ret, topExpr, 0, false, false );
209                 ret << ")";
210         }
211         return ret.str();
212 }
213
214 string FsmCodeGen::STACK()
215 {
216         ostringstream ret;
217         if ( stackExpr == 0 )
218                 ret << ACCESS() + "stack";
219         else {
220                 ret << "(";
221                 INLINE_LIST( ret, stackExpr, 0, false, false );
222                 ret << ")";
223         }
224         return ret.str();
225 }
226
227 string FsmCodeGen::ACT()
228 {
229         ostringstream ret;
230         if ( actExpr == 0 )
231                 ret << ACCESS() + "act";
232         else {
233                 ret << "(";
234                 INLINE_LIST( ret, actExpr, 0, false, false );
235                 ret << ")";
236         }
237         return ret.str();
238 }
239
240 string FsmCodeGen::TOKSTART()
241 {
242         ostringstream ret;
243         if ( tokstartExpr == 0 )
244                 ret << ACCESS() + "ts";
245         else {
246                 ret << "(";
247                 INLINE_LIST( ret, tokstartExpr, 0, false, false );
248                 ret << ")";
249         }
250         return ret.str();
251 }
252
253 string FsmCodeGen::TOKEND()
254 {
255         ostringstream ret;
256         if ( tokendExpr == 0 )
257                 ret << ACCESS() + "te";
258         else {
259                 ret << "(";
260                 INLINE_LIST( ret, tokendExpr, 0, false, false );
261                 ret << ")";
262         }
263         return ret.str();
264 }
265
266 string FsmCodeGen::GET_WIDE_KEY()
267 {
268         if ( redFsm->anyConditions() ) 
269                 return "_widec";
270         else
271                 return GET_KEY();
272 }
273
274 string FsmCodeGen::GET_WIDE_KEY( RedStateAp *state )
275 {
276         if ( state->stateCondList.length() > 0 )
277                 return "_widec";
278         else
279                 return GET_KEY();
280 }
281
282 string FsmCodeGen::GET_KEY()
283 {
284         ostringstream ret;
285         if ( getKeyExpr != 0 ) { 
286                 /* Emit the user supplied method of retrieving the key. */
287                 ret << "(";
288                 INLINE_LIST( ret, getKeyExpr, 0, false, false );
289                 ret << ")";
290         }
291         else {
292                 /* Expression for retrieving the key, use simple dereference. */
293                 ret << "(*" << P() << ")";
294         }
295         return ret.str();
296 }
297
298 /* Write out level number of tabs. Makes the nested binary search nice
299  * looking. */
300 string FsmCodeGen::TABS( int level )
301 {
302         string result;
303         while ( level-- > 0 )
304                 result += "\t";
305         return result;
306 }
307
308 /* Write out a key from the fsm code gen. Depends on wether or not the key is
309  * signed. */
310 string FsmCodeGen::KEY( Key key )
311 {
312         ostringstream ret;
313         if ( keyOps->isSigned || !hostLang->explicitUnsigned )
314                 ret << key.getVal();
315         else
316                 ret << (unsigned long) key.getVal() << 'u';
317         return ret.str();
318 }
319
320 void FsmCodeGen::EXEC( ostream &ret, InlineItem *item, int targState, int inFinish )
321 {
322         /* The parser gives fexec two children. The double brackets are for D
323          * code. If the inline list is a single word it will get interpreted as a
324          * C-style cast by the D compiler. */
325         ret << "{" << P() << " = ((";
326         INLINE_LIST( ret, item->children, targState, inFinish, false );
327         ret << "))-1;}";
328 }
329
330 void FsmCodeGen::LM_SWITCH( ostream &ret, InlineItem *item, 
331                 int targState, int inFinish )
332 {
333         ret << 
334                 "       switch( " << ACT() << " ) {\n";
335
336         for ( InlineList::Iter lma = *item->children; lma.lte(); lma++ ) {
337                 /* Write the case label, the action and the case break. */
338                 ret << "        case " << lma->lmId << ":\n";
339
340                 /* Write the block and close it off. */
341                 ret << "        {";
342                 INLINE_LIST( ret, lma->children, targState, inFinish, false );
343                 ret << "}\n";
344
345                 ret << "        break;\n";
346         }
347         /* Default required for D code. */
348         ret << 
349                 "       default: break;\n"
350                 "       }\n"
351                 "\t";
352 }
353
354 void FsmCodeGen::SET_ACT( ostream &ret, InlineItem *item )
355 {
356         ret << ACT() << " = " << item->lmId << ";";
357 }
358
359 void FsmCodeGen::SET_TOKEND( ostream &ret, InlineItem *item )
360 {
361         /* The tokend action sets tokend. */
362         ret << TOKEND() << " = " << P();
363         if ( item->offset != 0 ) 
364                 out << "+" << item->offset;
365         out << ";";
366 }
367
368 void FsmCodeGen::GET_TOKEND( ostream &ret, InlineItem *item )
369 {
370         ret << TOKEND();
371 }
372
373 void FsmCodeGen::INIT_TOKSTART( ostream &ret, InlineItem *item )
374 {
375         ret << TOKSTART() << " = " << NULL_ITEM() << ";";
376 }
377
378 void FsmCodeGen::INIT_ACT( ostream &ret, InlineItem *item )
379 {
380         ret << ACT() << " = 0;";
381 }
382
383 void FsmCodeGen::SET_TOKSTART( ostream &ret, InlineItem *item )
384 {
385         ret << TOKSTART() << " = " << P() << ";";
386 }
387
388 void FsmCodeGen::SUB_ACTION( ostream &ret, InlineItem *item, 
389                 int targState, bool inFinish )
390 {
391         if ( item->children->length() > 0 ) {
392                 /* Write the block and close it off. */
393                 ret << "{";
394                 INLINE_LIST( ret, item->children, targState, inFinish, false );
395                 ret << "}";
396         }
397 }
398
399
400 /* Write out an inline tree structure. Walks the list and possibly calls out
401  * to virtual functions than handle language specific items in the tree. */
402 void FsmCodeGen::INLINE_LIST( ostream &ret, InlineList *inlineList, 
403                 int targState, bool inFinish, bool csForced )
404 {
405         for ( InlineList::Iter item = *inlineList; item.lte(); item++ ) {
406                 switch ( item->type ) {
407                 case InlineItem::Text:
408                         ret << item->data;
409                         break;
410                 case InlineItem::Goto:
411                         GOTO( ret, item->targState->id, inFinish );
412                         break;
413                 case InlineItem::Call:
414                         CALL( ret, item->targState->id, targState, inFinish );
415                         break;
416                 case InlineItem::Next:
417                         NEXT( ret, item->targState->id, inFinish );
418                         break;
419                 case InlineItem::Ret:
420                         RET( ret, inFinish );
421                         break;
422                 case InlineItem::PChar:
423                         ret << P();
424                         break;
425                 case InlineItem::Char:
426                         ret << GET_KEY();
427                         break;
428                 case InlineItem::Hold:
429                         ret << P() << "--;";
430                         break;
431                 case InlineItem::Exec:
432                         EXEC( ret, item, targState, inFinish );
433                         break;
434                 case InlineItem::Curs:
435                         CURS( ret, inFinish );
436                         break;
437                 case InlineItem::Targs:
438                         TARGS( ret, inFinish, targState );
439                         break;
440                 case InlineItem::Entry:
441                         ret << item->targState->id;
442                         break;
443                 case InlineItem::GotoExpr:
444                         GOTO_EXPR( ret, item, inFinish );
445                         break;
446                 case InlineItem::CallExpr:
447                         CALL_EXPR( ret, item, targState, inFinish );
448                         break;
449                 case InlineItem::NextExpr:
450                         NEXT_EXPR( ret, item, inFinish );
451                         break;
452                 case InlineItem::LmSwitch:
453                         LM_SWITCH( ret, item, targState, inFinish );
454                         break;
455                 case InlineItem::LmSetActId:
456                         SET_ACT( ret, item );
457                         break;
458                 case InlineItem::LmSetTokEnd:
459                         SET_TOKEND( ret, item );
460                         break;
461                 case InlineItem::LmGetTokEnd:
462                         GET_TOKEND( ret, item );
463                         break;
464                 case InlineItem::LmInitTokStart:
465                         INIT_TOKSTART( ret, item );
466                         break;
467                 case InlineItem::LmInitAct:
468                         INIT_ACT( ret, item );
469                         break;
470                 case InlineItem::LmSetTokStart:
471                         SET_TOKSTART( ret, item );
472                         break;
473                 case InlineItem::SubAction:
474                         SUB_ACTION( ret, item, targState, inFinish );
475                         break;
476                 case InlineItem::Break:
477                         BREAK( ret, targState, csForced );
478                         break;
479                 }
480         }
481 }
482 /* Write out paths in line directives. Escapes any special characters. */
483 string FsmCodeGen::LDIR_PATH( char *path )
484 {
485         ostringstream ret;
486         for ( char *pc = path; *pc != 0; pc++ ) {
487                 if ( *pc == '\\' )
488                         ret << "\\\\";
489                 else
490                         ret << *pc;
491         }
492         return ret.str();
493 }
494
495 void FsmCodeGen::ACTION( ostream &ret, Action *action, int targState, 
496                 bool inFinish, bool csForced )
497 {
498         /* Write the preprocessor line info for going into the source file. */
499         lineDirective( ret, sourceFileName, action->loc.line );
500
501         /* Write the block and close it off. */
502         ret << "\t{";
503         INLINE_LIST( ret, action->inlineList, targState, inFinish, csForced );
504         ret << "}\n";
505 }
506
507 void FsmCodeGen::CONDITION( ostream &ret, Action *condition )
508 {
509         ret << "\n";
510         lineDirective( ret, sourceFileName, condition->loc.line );
511         INLINE_LIST( ret, condition->inlineList, 0, false, false );
512 }
513
514 string FsmCodeGen::ERROR_STATE()
515 {
516         ostringstream ret;
517         if ( redFsm->errState != 0 )
518                 ret << redFsm->errState->id;
519         else
520                 ret << "-1";
521         return ret.str();
522 }
523
524 string FsmCodeGen::FIRST_FINAL_STATE()
525 {
526         ostringstream ret;
527         if ( redFsm->firstFinState != 0 )
528                 ret << redFsm->firstFinState->id;
529         else
530                 ret << redFsm->nextStateId;
531         return ret.str();
532 }
533
534 void FsmCodeGen::writeInit()
535 {
536         out << "        {\n";
537
538         if ( writeCS )
539                 out << "\t" << CS() << " = " << START() << ";\n";
540         
541         /* If there are any calls, then the stack top needs initialization. */
542         if ( redFsm->anyActionCalls() || redFsm->anyActionRets() )
543                 out << "\t" << TOP() << " = 0;\n";
544
545         if ( hasLongestMatch ) {
546                 out << 
547                         "       " << TOKSTART() << " = " << NULL_ITEM() << ";\n"
548                         "       " << TOKEND() << " = " << NULL_ITEM() << ";\n"
549                         "       " << ACT() << " = 0;\n";
550         }
551         out << "        }\n";
552 }
553
554 string FsmCodeGen::DATA_PREFIX()
555 {
556         if ( dataPrefix )
557                 return FSM_NAME() + "_";
558         return "";
559 }
560
561 /* Emit the alphabet data type. */
562 string FsmCodeGen::ALPH_TYPE()
563 {
564         string ret = keyOps->alphType->data1;
565         if ( keyOps->alphType->data2 != 0 ) {
566                 ret += " ";
567                 ret += + keyOps->alphType->data2;
568         }
569         return ret;
570 }
571
572 /* Emit the alphabet data type. */
573 string FsmCodeGen::WIDE_ALPH_TYPE()
574 {
575         string ret;
576         if ( redFsm->maxKey <= keyOps->maxKey )
577                 ret = ALPH_TYPE();
578         else {
579                 long long maxKeyVal = redFsm->maxKey.getLongLong();
580                 HostType *wideType = keyOps->typeSubsumes( keyOps->isSigned, maxKeyVal );
581                 assert( wideType != 0 );
582
583                 ret = wideType->data1;
584                 if ( wideType->data2 != 0 ) {
585                         ret += " ";
586                         ret += wideType->data2;
587                 }
588         }
589         return ret;
590 }
591
592 void FsmCodeGen::STATE_IDS()
593 {
594         if ( redFsm->startState != 0 )
595                 STATIC_VAR( "int", START() ) << " = " << START_STATE_ID() << ";\n";
596
597         if ( writeFirstFinal )
598                 STATIC_VAR( "int" , FIRST_FINAL() ) << " = " << FIRST_FINAL_STATE() << ";\n";
599
600         if ( writeErr )
601                 STATIC_VAR( "int", ERROR() ) << " = " << ERROR_STATE() << ";\n";
602
603         out << "\n";
604
605         if ( entryPointNames.length() > 0 ) {
606                 for ( EntryNameVect::Iter en = entryPointNames; en.lte(); en++ ) {
607                         STATIC_VAR( "int", DATA_PREFIX() + "en_" + *en ) << 
608                                         " = " << entryPointIds[en.pos()] << ";\n";
609                 }
610                 out << "\n";
611         }
612 }
613
614
615 /*
616  * Language specific, but style independent code generators functions.
617  */
618
619 string CCodeGen::PTR_CONST()
620 {
621         return "const ";
622 }
623
624 std::ostream &CCodeGen::OPEN_ARRAY( string type, string name )
625 {
626         out << "static const " << type << " " << name << "[] = {\n";
627         return out;
628 }
629
630 std::ostream &CCodeGen::CLOSE_ARRAY()
631 {
632         return out << "};\n";
633 }
634
635 std::ostream &CCodeGen::STATIC_VAR( string type, string name )
636 {
637         out << "static const " << type << " " << name;
638         return out;
639 }
640
641 string CCodeGen::UINT( )
642 {
643         return "unsigned int";
644 }
645
646 string CCodeGen::ARR_OFF( string ptr, string offset )
647 {
648         return ptr + " + " + offset;
649 }
650
651 string CCodeGen::CAST( string type )
652 {
653         return "(" + type + ")";
654 }
655
656 string CCodeGen::NULL_ITEM()
657 {
658         return "0";
659 }
660
661 string CCodeGen::POINTER()
662 {
663         return " *";
664 }
665
666 std::ostream &CCodeGen::SWITCH_DEFAULT()
667 {
668         return out;
669 }
670
671 string CCodeGen::CTRL_FLOW()
672 {
673         return "";
674 }
675
676 void CCodeGen::writeExports()
677 {
678         if ( exportList.length() > 0 ) {
679                 for ( ExportList::Iter ex = exportList; ex.lte(); ex++ ) {
680                         out << "#define " << DATA_PREFIX() << "ex_" << ex->name << " " << 
681                                         KEY(ex->key) << "\n";
682                 }
683                 out << "\n";
684         }
685 }
686
687 /*
688  * D Specific
689  */
690
691 string DCodeGen::NULL_ITEM()
692 {
693         return "null";
694 }
695
696 string DCodeGen::POINTER()
697 {
698         // multiple items seperated by commas can also be pointer types.
699         return "* ";
700 }
701
702 string DCodeGen::PTR_CONST()
703 {
704         return "";
705 }
706
707 std::ostream &DCodeGen::OPEN_ARRAY( string type, string name )
708 {
709         out << "static const " << type << "[] " << name << " = [\n";
710         return out;
711 }
712
713 std::ostream &DCodeGen::CLOSE_ARRAY()
714 {
715         return out << "];\n";
716 }
717
718 std::ostream &DCodeGen::STATIC_VAR( string type, string name )
719 {
720         out << "static const " << type << " " << name;
721         return out;
722 }
723
724 string DCodeGen::ARR_OFF( string ptr, string offset )
725 {
726         return "&" + ptr + "[" + offset + "]";
727 }
728
729 string DCodeGen::CAST( string type )
730 {
731         return "cast(" + type + ")";
732 }
733
734 string DCodeGen::UINT( )
735 {
736         return "uint";
737 }
738
739 std::ostream &DCodeGen::SWITCH_DEFAULT()
740 {
741         out << "                default: break;\n";
742         return out;
743 }
744
745 string DCodeGen::CTRL_FLOW()
746 {
747         return "if (true) ";
748 }
749
750 void DCodeGen::writeExports()
751 {
752         if ( exportList.length() > 0 ) {
753                 for ( ExportList::Iter ex = exportList; ex.lte(); ex++ ) {
754                         out << "static const " << ALPH_TYPE() << " " << DATA_PREFIX() << 
755                                         "ex_" << ex->name << " = " << KEY(ex->key) << ";\n";
756                 }
757                 out << "\n";
758         }
759 }
760
761 /*
762  * End D-specific code.
763  */
764
765 void FsmCodeGen::finishRagelDef()
766 {
767         if ( codeStyle == GenGoto || codeStyle == GenFGoto || 
768                         codeStyle == GenIpGoto || codeStyle == GenSplit )
769         {
770                 /* For directly executable machines there is no required state
771                  * ordering. Choose a depth-first ordering to increase the
772                  * potential for fall-throughs. */
773                 redFsm->depthFirstOrdering();
774         }
775         else {
776                 /* The frontend will do this for us, but it may be a good idea to
777                  * force it if the intermediate file is edited. */
778                 redFsm->sortByStateId();
779         }
780
781         /* Choose default transitions and the single transition. */
782         redFsm->chooseDefaultSpan();
783                 
784         /* Maybe do flat expand, otherwise choose single. */
785         if ( codeStyle == GenFlat || codeStyle == GenFFlat )
786                 redFsm->makeFlat();
787         else
788                 redFsm->chooseSingle();
789
790         /* If any errors have occured in the input file then don't write anything. */
791         if ( gblErrorCount > 0 )
792                 return;
793         
794         if ( codeStyle == GenSplit )
795                 redFsm->partitionFsm( numSplitPartitions );
796
797         if ( codeStyle == GenIpGoto || codeStyle == GenSplit )
798                 redFsm->setInTrans();
799
800         /* Anlayze Machine will find the final action reference counts, among
801          * other things. We will use these in reporting the usage
802          * of fsm directives in action code. */
803         analyzeMachine();
804
805         /* Determine if we should use indicies. */
806         calcIndexSize();
807 }
808
809 ostream &FsmCodeGen::source_warning( const InputLoc &loc )
810 {
811         cerr << sourceFileName << ":" << loc.line << ":" << loc.col << ": warning: ";
812         return cerr;
813 }
814
815 ostream &FsmCodeGen::source_error( const InputLoc &loc )
816 {
817         gblErrorCount += 1;
818         assert( sourceFileName != 0 );
819         cerr << sourceFileName << ":" << loc.line << ":" << loc.col << ": ";
820         return cerr;
821 }
822