antlr4 - ANTLR 4：ダイナミックトークン

Question

与えられた：

grammar Hbs;

var: START_DELIM ID END_DELIM;

START_DELIM: '{{';

END_DELIM: '}}';

たとえば、実行時にSTART_DELIM変更する方法を知りたいのですが。END_DELIM<%%>

ANTLR 4でこれを行う方法を知っている人はいますか？

ありがとう。

Answer 1

方法はありますが、文法をターゲット言語に関連付ける必要があります（現時点では、ターゲットはJavaのみです）。

これが簡単なデモです（私は物事を明確にするためにいくつかのコメントを含めました）：

grammar T;

@lexer::members {

  // Some default values
  private String start = "<<";
  private String end = ">>";  

  public TLexer(CharStream input, String start, String end) {
    this(input);
    this.start = start;
    this.end = end;
  }

  boolean tryToken(String text) {

    // See if `text` is ahead in the CharStream.
    for(int i = 0; i < text.length(); i++) {

      if(_input.LA(i + 1) != text.charAt(i)) {

        // Nope, we didn't find `text`.
        return false;
      }
    }

    // Since we found the text, increase the CharStream's index.
    _input.seek(_input.index() + text.length() - 1);

    return true;
  }
}

parse
 : START ID END
 ;

START
 : {tryToken(start)}? . 
   // The `.` is needed because a lexer rule must match at least 1 char.
 ;

END
 : {tryToken(end)}? .
 ;

ID
 : [a-zA-Z]+
 ;

SPACE
 : [ \t\r\n] -> skip
 ;

これ{ ... }?は意味述語です。参照：https ：//github.com/antlr/antlr4/blob/master/doc/predicates.md

小さなテストクラスは次のとおりです。

import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;

public class Main {

  private static void test(TLexer lexer) throws Exception {
    TParser parser = new TParser(new CommonTokenStream(lexer));
    ParseTree tree = parser.parse();
    System.out.println(tree.toStringTree(parser));
  }

  public static void main(String[] args) throws Exception {

    // Test with the default START and END.
    test(new TLexer(new ANTLRInputStream("<< foo >>")));

    // Test with a custom START and END.
    test(new TLexer(new ANTLRInputStream("<? foo ?>"), "<?", "?>"));
  }
}

次のようにデモを実行します。

* nix

java -jar antlr-4.0-complete.jar T.g4
javac -cp .:antlr-4.0-complete.jar *.java
java -cp .:antlr-4.0-complete.jar Main

ウィンドウズ

java -jar antlr-4.0-complete.jar T.g4
javac -cp .;antlr-4.0-complete.jar *.java
java -cp .;antlr-4.0-complete.jar Main

そして、コンソールに次のように出力されます。

(parse << foo >>)
(parse <? foo ?>)