バックグラウンド
私は、AntlrWorksを使用して、指定された要素の存在(または存在しない)の値のセットをテストするブール方程式の簡単な文法を書き込もうとしています。目的のASTを生成するレクサー/パーサーの組み合わせ文法を作成しました。また、動作しているように見える(AntlrWorksのデバッグ関数をパスする)対応するツリー文法も作成しました。
問題
ただし、テストプログラム(つまり、同じプログラムでlex、parse、tree parse)で2つを相互に接続しようとすると、次のようなエラーが発生します...
node from line 1:5 required (...)+ loop did not match anything at input 'and'
と
node from after line 1:8 mismatched tree node: UP expecting <DOWN>
toStringTree()
健全性テストとして、生成されたASTと結果のからの結果をテストプログラムに出力させtoTokenTypeString()
ましたTreeNodeStream
。
私が見つけたのは、の列挙されたTreeNodeStream
トークンタイプの値が、自動生成されたツリー文法コードの列挙されたトークンタイプの値と一致しないことでした。
例
サンプル入力:
"true and false"
パーサーが提供するツリーからのtoStringTree()の出力:
(and true false)
toTokenTypeString()
上記のASTを含むTreeNodeStreamからの出力:19 2 22 20 3 8
そのトークンストリームは次のようになりますがAND <DOWN> 'true' 'false' <UP> NEWLINE
、TreeParserはそれをCLOSEPAREN <DOWN> OR 'false' <UP> OPENPAREN
(ノードトークンタイプの出力を確認し、ツリー文法で定義された列挙に対してチェックすることに基づいて)と見なし、エラーをスローします。
1:5 required (...)+ loop did not match anything at input 'and'
結論
ASTを正しく識別するようにツリーパーサーが設定されていないのはなぜですか?
以下は私の情報源です。私が犯したはずの愚かな間違いについてのフィードバックに感謝します:)
レクサー/パーサー文法
grammar INTc;
options {
output=AST;
ASTLabelType=CommonTree;
}
tokens {
OR='or';
AND='and';
NOT='not';
ALLIN='+';
PARTIN='^';
NOTIN='!';
SET;
OPENPAREN='(';
CLOSEPAREN=')';
OPENSET='{';
CLOSESET='}';
}
@header {
package INTc;
}
@lexer::header {
package INTc;
}
@members {
}
/**Begin Parser Rules*/
prog: stat+ ;
stat: expr
| NEWLINE
;
expr
: orExpr
;
orExpr returns [boolean value]
: a=andExpr(OR^ b=andExpr)*
;
andExpr returns [boolean value]
: a=notExpr (AND^ b=notExpr)*
;
notExpr returns [boolean value]
: a=atom
| '!' a=atom -> ^(NOT atom)
;
atom returns [boolean value]
: ALLIN OPENSET ((INT)(','INT)*) CLOSESET -> ^(ALLIN ^(SET INT+))
| PARTIN OPENSET ((INT)(','INT)*) CLOSESET -> ^(PARTIN ^(SET INT+))
| NOTIN OPENSET ((INT)(','INT)*) CLOSESET -> ^(NOTIN ^(SET INT+))
| TIMERANGE
| OPENPAREN! e=expr CLOSEPAREN!
| 'true'
| 'false'
;
/**Begin Lexer Rules*/
ID : ('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'0'..'9'|'_')* ;
DIGIT : ('0'..'9');
INT : DIGIT+ ;
NEWLINE : '\r'? '\n' ;
WS : ( ' ' | '\t' | '\r' | '\n') {$channel=HIDDEN;};
COMMENT
: '//' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;}
| '/*' ( options {greedy=false;} : . )* '*/' {$channel=HIDDEN;}
;
ツリー文法
tree grammar INTcWalker;
options {
tokenVocab=INTc;
ASTLabelType=CommonTree;
}
@header {
package INTc;
import java.util.ArrayList;
import java.util.Arrays;
}
@members {
ArrayList<String> intSet;
boolean isFit = false;
public boolean getResult() {
return isFit;
}
public void setINTSet(ArrayList newSet) {
intSet = newSet;
isFit = false;
}
public ArrayList getINTSET(){return intSet;}
}
prog
: stat+
;
stat
: expr {
isFit = $expr.value;
//System.out.println(isFit);
}
| NEWLINE {}
;
expr returns [boolean value]
: ^(OR a=expr b=expr){}
| ^(AND a=expr b=expr){}
| ^(NOT a=expr){}
| ^(ALLIN ^(SET INT+)){}
| ^(PARTIN ^(SET INT+)){}
| ^(NOTIN ^(SET INT+)){}
| 'true' {$value = true;}
| 'false' {$value = false;}
;
テストプログラム
public class setTest {
public static void main(String args[]) throws Exception {
INTcLexer lex = new INTcLexer(new ANTLRFileStream("input.txt"));
CommonTokenStream tokens = new CommonTokenStream(lex);
INTcParser parser = new INTcParser(tokens);
INTcParser.prog_return r = parser.prog();
CommonTree t = (CommonTree)r.getTree();
CommonTreeNodeStream nodes = new CommonTreeNodeStream(t);
INTcWalker evaluator = new INTcWalker(nodes);
System.out.println(t.toStringTree());
System.out.println(nodes.toTokenTypeString());
nodes.reset();
try {
evaluator.prog();
} catch (RecognitionException e) {
e.printStackTrace();
}
System.out.println(evaluator.getResult());
}
}