4

バックグラウンド

私は、AntlrWorksを使用して、指定された要素の存在(または存在しない)の値のセットをテストするブール方程式の簡単な文法を書き込もうとしています。目的のASTを生成するレクサー/パーサーの組み合わせ文法を作成しました。また、動作しているように見える(AntlrWorksのデバッグ関数をパスする)対応するツリー文法も作成しました。


問題

ただし、テストプログラム(つまり、同じプログラムでlex、parse、tree parse)で2つを相互に接続しようとすると、次のようなエラーが発生します...

node from line 1:5 required (...)+ loop did not match anything at input 'and'

node from after line 1:8 mismatched tree node: UP expecting <DOWN>

toStringTree()健全性テストとして、生成されたASTと結果のからの結果をテストプログラムに出力させtoTokenTypeString()ましたTreeNodeStream

私が見つけたのは、の列挙されたTreeNodeStreamトークンタイプの値が、自動生成されたツリー文法コードの列挙されたトークンタイプの値と一致しないことでした。


  • サンプル入力:"true and false"

  • パーサーが提供するツリーからのtoStringTree()の出力:(and true false)

  • toTokenTypeString()上記のASTを含むTreeNodeStreamからの出力:19 2 22 20 3 8

そのトークンストリームは次のようになりますがAND <DOWN> 'true' 'false' <UP> NEWLINE 、TreeParserはそれをCLOSEPAREN <DOWN> OR 'false' <UP> OPENPAREN(ノードトークンタイプの出力を確認し、ツリー文法で定義された列挙に対してチェックすることに基づいて)と見なし、エラーをスローします。

1:5 required (...)+ loop did not match anything at input 'and'


結論

ASTを正しく識別するようにツリーパーサーが設定されていないのはなぜですか?

以下は私の情報源です。私が犯したはずの愚かな間違いについてのフィードバックに感謝します:)

レクサー/パーサー文法

grammar INTc;

options {
   output=AST;
   ASTLabelType=CommonTree;
}

tokens {
   OR='or';
   AND='and';
   NOT='not';
   ALLIN='+';
   PARTIN='^';
   NOTIN='!';
   SET;
   OPENPAREN='(';
   CLOSEPAREN=')';
   OPENSET='{';
   CLOSESET='}';
}
@header {
package INTc;
}

@lexer::header {
package INTc;
}

@members {
}

/**Begin Parser Rules*/
prog:   stat+ ;

stat:   expr
    |   NEWLINE
    ;

expr
:  orExpr
;

orExpr returns [boolean value]
    :   a=andExpr(OR^ b=andExpr)*
    ;

andExpr returns [boolean value]
    :   a=notExpr (AND^ b=notExpr)*
    ; 

notExpr returns [boolean value]
    :   a=atom
    | '!' a=atom -> ^(NOT atom)
    ;

atom returns [boolean value]
    :   ALLIN  OPENSET ((INT)(','INT)*) CLOSESET   -> ^(ALLIN ^(SET INT+))
    |   PARTIN  OPENSET ((INT)(','INT)*) CLOSESET  -> ^(PARTIN ^(SET INT+))
    |   NOTIN OPENSET ((INT)(','INT)*) CLOSESET   -> ^(NOTIN  ^(SET INT+))
    |   TIMERANGE
    |   OPENPAREN! e=expr CLOSEPAREN!
    |   'true'
    |   'false'
    ;

/**Begin Lexer Rules*/
ID  :   ('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'0'..'9'|'_')* ;
DIGIT   :   ('0'..'9');
INT :   DIGIT+ ;
NEWLINE :   '\r'? '\n' ;
WS  :   ( ' ' | '\t' | '\r' | '\n') {$channel=HIDDEN;};
COMMENT
    :   '//' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;}
    |   '/*' ( options {greedy=false;} : . )* '*/' {$channel=HIDDEN;}
    ;

ツリー文法

tree grammar INTcWalker;

options {
  tokenVocab=INTc;
  ASTLabelType=CommonTree;
}

@header {
  package INTc;
  import java.util.ArrayList;
  import java.util.Arrays;
}

@members {
  ArrayList<String> intSet;
  boolean isFit = false;

  public boolean getResult() {
     return isFit;   
  }
  public void setINTSet(ArrayList newSet) {
     intSet = newSet;
     isFit = false;
  }
  public ArrayList getINTSET(){return intSet;}
}

prog
:     stat+
;
stat
:     expr  {
                                     isFit = $expr.value;
                                     //System.out.println(isFit);
    }
|    NEWLINE {}
;
expr returns [boolean value]
: ^(OR a=expr b=expr){}
| ^(AND a=expr b=expr){}
| ^(NOT a=expr){}
| ^(ALLIN ^(SET INT+)){}
| ^(PARTIN ^(SET INT+)){}
| ^(NOTIN ^(SET INT+)){}
| 'true'        {$value = true;}
| 'false'       {$value = false;}
;

テストプログラム

public class setTest {

    public static void main(String args[]) throws Exception {
        INTcLexer lex = new INTcLexer(new ANTLRFileStream("input.txt"));
        CommonTokenStream tokens = new CommonTokenStream(lex);

        INTcParser parser = new INTcParser(tokens);
        INTcParser.prog_return r = parser.prog();
        CommonTree t  = (CommonTree)r.getTree();
        CommonTreeNodeStream nodes = new CommonTreeNodeStream(t);
        INTcWalker evaluator = new INTcWalker(nodes);

        System.out.println(t.toStringTree());

        System.out.println(nodes.toTokenTypeString());
        nodes.reset();

        try {
                evaluator.prog();
        } catch (RecognitionException e) {
                e.printStackTrace();
        }   

        System.out.println(evaluator.getResult());

    }   
}
4

1 に答える 1

3

文法とツリー文法を組み合わせてレクサー、パーサー、ツリーウォーカーのクラスを作成し、次のクラスを実行するとします。

import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;

public class Main {
  public static void main(String args[]) throws Exception {
    INTcLexer lex = new INTcLexer(new ANTLRStringStream("true and false\n"));
    CommonTokenStream tokens = new CommonTokenStream(lex);
    INTcParser parser = new INTcParser(tokens);

    CommonTree t  = (CommonTree)parser.prog().getTree();
    CommonTreeNodeStream nodes = new CommonTreeNodeStream(t);
    INTcWalker evaluator = new INTcWalker(nodes);

    System.out.println(t.toStringTree());

    CommonTree tr;
    while(true) {
      Token token = ((CommonTree)nodes.nextElement()).getToken();
      if(token.getType() == INTcParser.EOF) break;
      System.out.printf("%-10s '%s'\n", INTcParser.tokenNames[token.getType()], token.getText());
    }

    System.out.println("\nresult=" + evaluator.getResult());
  }
}

以下がコンソールに出力されます。

(and true false) 

AND        'and'
<DOWN>     'DOWN'
'true'     'true'
'false'    'false'
<UP>       'UP'
NEWLINE    '
'

result=false

つまり、期待される出力が表示されます。

  • 木は大丈夫です((and true false));
  • CommonTreeNodeStream適切なトークン(またはそれ以上:ツリー)が含まれています。
  • 正しい値、falseは、パーサーまたはツリーウォーカーからのエラーなしで出力されています。

いくつかのヒント:

  • 'true''false'(つまりTRUE='true';...)の両方のトークンを作成します。
  • ツリー文法内でリテラルを使用しないでください('true'ではなくTRUE)。
  • ルールを作成DIGITfragmentます。そうすれば、それ自体のトークンになることはなく、内部INT(または他のレクサールール)でのみ使用されます。キーワードfragmentをその前に置くだけです。
  • とはデフォルトでは貪欲ではないため、を削除でき.*ます。.+options greedy=false;} :
于 2011-12-08T22:07:25.303 に答える